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ПРЕДИСЛОВИЕ 


Вниманию читателя предлагается книга, продолжающая! ре- 
ализацию замысла авторов: создать многотомное справочно- 
пособие по современным математическим методам статистиче- 
ской обработки данных, включающее в себя одновременное ос- 
вещение необходимого математического аппарата, соответст- 
вующего программного обеспечения ЭВМ и рекомендаций по 
преодолению вычислительных тридностей, связанных с ис- 
пользованием описываемых методов и алгоритмов. Книга 
адресована специалистам различных сфер человеческой дея- 
тельности, использующим методы математической статистики 
н анализа данных в своей работе. 

Для понимания матерала книги читателю достаточно об- 
Ладать математической подготовкой в объеме программ эко- 
номического или технического вуза либо ознакомиться с ба- 
зовыми понятиями теории вероятностей и математической ста- 
тистики, описанными в первом томе справочного издания [14]. 
В свою очередь освоение материала предлагаемой книги мо- 
жет служить надежной и удобной базой для более глубокого 
проникновения в предмет исследования, основанного на изу- 
чении специальных монографий и журнальных статей. 

Тема книги, бесспорно, центральная во всем справочном 
издании. Она является таковой как по глубине и разнообра- 
зию разработанного к настоящему воемени математического 
аппарата, так и по удельному весу использования описывае- 
мых методов и моделей в практических разработках разнооб- 
разного профиля. 


1В 1983 г. вышла в свет книга: А йвазянС. А., ЕнюковИ.С., 
Мешалкин Л. Д. Прикладная статистика: Основы моделирования 
и первичная обработка данных. — М.: Финансы и статистика. В ней, в 
частности, определена прикладная статистика как самостоятельная 
научная дисциплина, разрабатывающая и систематизирующая поня- 
тия, приемы, математические методы и модели, предназначенные для 
организации и обработки статистических данных с целью их удобно- 
го представления, интерпретацин и получения научных и практических 
вчводов (см. с. 19). 


вторы, — 


вная цель. которую ставили перед собой а 
| лавная ц О р боте ста- 


оснастить исследователя, использующего в своей ра 
тистические методы, инструментарием, необходимым для реше- 
ния ключевой проблемы всякого исследования: как на осно- 
вании частных результатов статистического наблюдения за 
анализируемыми событиями или показателями выявить и опи- 
сать существующие между ними взаимосвязи. Именно эта 
проблема, проблема статистического исследования зависимо- 
стей, оказывается главной в решении таких типовых задач 
практики, как нормирование, прогноз, планирование, диаг- 
ностика, оценка труднодоступных для непосредственного на- 
блюдения и измерения характеристик анализируемой систе- 
мы, оценка эффективности функционирования или качества 
объекта, регулирование параметров процесса или системы. 

Авторы стремились к объективно сбалансированному пред- 
ставлению материала как по структуре книги, так и по ее со- 
держанию. Однако широта и разноплановость затронутой 
проблемы не позволяют им претендовать: на всеобъемлющий 
охват темы. Так, например, относительно узко представлена 
в данном томе тематика статистического анализа динамиче- 
ских зависимостей; не дано описания весьма полезного, в оп- 
ределенных типах задач, апмарата логических решающих 
правил*; не вошел в книгу материал, посвященный актуальной 
в прикладном плане (особенно в задачах управления техноло- 
гическими процессами) тематике планирования регрессионных 
экспериментов. 

Книга состоит из введения и четырех разделов. 

Введение играет особую роль в понимании описываемых в 
дальнейшем методов и логики всей книги в целом. Можно ска- 
зать, что в нем в доступной для неискушенного читателя фор- 
ме представлены содержание и логические связи всех частей 
книги. Приводятся основные постановки задач и «адреса» 
(в книге) их решения. Изложение проиллюстрировано про- 
стыми примерами. Поэтому сравнительно слабо подготовлен- 
ному читателю рекомендуем не пожалеть времени на чтение 
введения. 

Раздел [ посвящен методам и приемам, позволяющим от- 
ветить на вопросы, имеется ли вообще какая-либо связь между 
исследуемыми переменными, как измерить их тесноту и ка- 
кова структура связей между показателями исследуемого на- 
бора? При этом под структурой понимается характер всевоз- 
можных попарных двоичных взаимоотношений рассматривае- 


1 Читатель может познакомиться с этим апларатом статистического 
исследования зависимостей, например, по книге [76]. 
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мых признаков (по типу «связь есть» или «связи нет»), но не 
форма зависимости одного от другого. Методы, описанные в 
данном разделе, составляют содержание корреляционного ана- 
лиза. 

Раздел 1] содержит описание методов и моделей, позволяю- 
щих исследовать вид зависимости интересующего нас «вы- 
ходного» (или «результирующего») количественного показате- 
ля от набора объясняющих переменных количественной при- 
роды (регрессионный анализ). В отдельной главе (гл. 12) рас- 
смотрен случай, когда роль объясняющей переменной играет 
«время». 

В разделе 1 решаются те же задачи, что и в разделе 11, 
но в ситуации, когда в качестве объясняющих переменных вы- 
ступают неколичественные или одновременно неколичественные 
и количественные признаки (дисперсионный и ковариационный 
анализ). 

И наконец, в раздел [У включены глава, посвященная 
описанию методов статистического анализа так называемых 
систем одновременных эконометрических уравнений (т. е. на- 
бора одновременно выполняющихся соотношений, в которых 
одни и те же переменные могут участвовать в разных соотно- 
шениях: и в роли результирующего показателя, и в роли пред- 
сказывающей переменной), и глава, в которой дается обзор 
наиболее интересного отечественного и зарубежного програм- 
много обеспечения методов статистического исследования за- 
висимостей. 

Научная н педагогическая деятельность авторов, послу- 
жившая основой реализации предлагаемого издания, про- 
водилась в Центральном экономико-математическом институ- 
те АН СССР, в Московском государственном университете 
им. М. В. Ломоносова и в Центральной научно-исследователь- 
ской лаборатории 4-го Главного управления при Министерст- 
ве здравоохранения СССР. 

Книга написана: С. А. Айвазяном — предисловие, введе- 
ние, гл. |, 2,5, 6, 11, выводы к гл. 9, введение и выводы к 
гл. 12, $ 13.5 и приложение; Л. Д. Мешалкиным — гл. 3, 4, 
7 (без$ 7.5, 7.б ип. 7.2.5), 10, 13 (без5 13.5); И. С. Енюковым — 

гл. 8, 15; В. В. Федоровым — гл. 9 (без $ 9.6, 9.7 ип. 9.5.4), 
12 (без введения и выводов), $5 7.5 и 7.6; Ю. М. Кабановым — 
гл. 14 (без $ 14.6); Е. 3. Демиденко — п. 9.5.4; 89.6, 9.7, 
14.6; А. М. Шурыгиным — п. 7.2.5. 

Авторы выражают глубокую благодарность А. И. Орло- 
вуиЕ. Г. Ясину, взявшим на себя труд отрецензировать ру- 
копись книги. Их критические замечания, бесспорно, способ- 
ствовали повышению качества данного издания. Авторы при- 
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знательны также В. Н. Вапнику, предоставившему им мате- 
риалы для написания п. 6.3.|, а также А. Б. Успенскому, 
Е. 3. Демиденко, А. М. Шурыгину, Арк. И. Верескову и 
О. В. Лепскому, участвовавшим в обсуждении отдельных ча- 
стей рукописи, а также и Л. Ю. Метт, вложившей большой труд 
в оформление рукописи. 

Положительную роль в замысле и содержании книги сы- 
грали постоянные контакты авторов со своими коллегами по 
научному семинару «Многомерный статистический анализ и 
вероятностное моделирование реальных процессов» (действую- 
щему в рамках Научного совета АН СССР по комплексной 
проблеме «Оптимальное планирование и управление народ- 
ным хозяйством» и Совета по автоматизации научных иссле- 
дований при Президиуме АН СССР), а также по Всесоюзному 
научно-методическому семинару «Вычислительные вопросы 
математической статистики», действующему в Московском го- 
сударственном университете им. М. В. Ломоносова под руко- 
водством Ю. В. Прохорова. 


С. А. Айвазян 


Введение. — СТАТИСТИЧЕСКОЕ ИССЛЕДОВАНИЕ 
ЗАВИСИМОСТЕЙ СОДЕРЖАНИЕ, ЗАДАЧИ, 
ОБЛАСТИ ПРИМЕНЕНИЯ 


В.1. Предварительное обсуждение задач 


Любой закон природы или общественного развития может быть 
выражен в конечном счете в виде описания характера или струк- 
туры взаимосвязей (зависимостей), существующих между изу- 
чаемыми явлениями или показателями (переменными величи- 
нами или просто переменными). Если эти зависимости: а) сто- 
хастичны по своей природе, т. е. позволяют устанавливать 
лишь вероятностные логические соотношения между изучае- 
мыми событиями А и В, а именно соотношения типа «из факта 
осуществления события А следует, что событие В должно 
произойти, но не обязательно, а лишь с некоторой (как пра- 
вило, близкой к единице) вероятностью Р»; 6) выявляются на 
основании статистического наблюдения за анализируемыми 
событиями или переменными, осуществляемого по выборке из 
интересующей нас генеральной совокупности [14, п. 5.4.2], 
то мы оказываемся в рамках проблемы статистического ис- 
следования зависимостей. Соответствующий математический 
аппарат, будучи таким образом нацеленным в первую очередь 
на решение основной проблемы естествознания: как по отдель- 
ным, частным наблюдениям выявить и описать интересующую 
нас общую закономерность? — занимает, бесспорно, централь- 
ное место во всем прикладном математическом анализе. 

Перед тем как перейти к формулировке общей и частных 
задач статистического исследования зависимостей, условим- 
ся описывать функционирование изучаемого реального объек- 
та (системы, процесса, явления) набором переменных (рис. В.1), 
среди которых: 

х(), х(?), ..., х(Ф?) — так называемые «входные» переменные, 
описывающие условия функционирования (часть из них, как 
правило, поддается регулированию или частичному управле- 
нию); в соответствующих математических моделях их назы- 
вают независимыми, факторами-аргументами, экзогенными, 
предикторными (или просто предикторами, т. е. предсказателя- 
ми), объясняющими (в книге мы будем использовать в основ- 
ном два последних термина); 


о, 9, ..., 9") — выходные переменные, характерн- 
зующие поведение или результат (эффективность) функцио- 
нироваия; в математических моделях их называют зависн- 
мыми, откликами, эндогенными, результирующими или объяс- 
няемыми (в книге используются в основном два последних 
термина); 

&(1), #2), ..., &(") — латентные (т. е. скрытые, не под- 
дающиеся непосредственному измерению) случайные «остаточ- 
ные» компопенты, отражающие влияние (соответственно на 


Случайные [ГЕ Анализируемая реальная система 

факторе, | (г) (объект) 

Не по09и- 3: дезуль- 

вщиеся (т 8) 

учету & Механизм преобразования 8х0д- (2) тирую- 
ных переменных 8 результируя-|- —— у щие пе- 
щие показатели — [у (т) | ВЕМЕН- 

НР 


ОбЯСНЯЮ-  [т0) 
щие пгре- 797 
МЕННЫЕ и 

(пребик- 
торные) 


КС) 


Рис. В.1. Общая схема взаимодействия переменных при статистиче- 
ском исследовании зависимостей 


о, >, ..., и(")) неучтенных «на входе» факторов, а также 
случайные ошибки в измерении анализируемых показателей 
(в математических моделях мы их, как правило, будем имено- 
вать просто «остатками»). 

Тогда общая задача статистического исследования зависи- 
мостей (в терминах изучаемых показателей) может быть сфор- 
мулирована следующим образом: 

по результатам п измерений 


(хр, Хх), . х(Р), ии, и 7?, ... В , о (В.1) 


‚ку... 


исследуемых переменных на объектах (системах, процессах) 
анализируемой совокупности построить такую (вгкторно- 
значную) функцию 


КО (0), ..., ХФ) 
2 ] ( 
(хо, х(2, ..., жР)) = 2 (х0),..., Хх) (В.2) 
ту (х0, ..., ХФ) 
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которая позволила бы наилучшим (в определенном смысле) об- 
разом восстанавливать значения результирующих (прогнози- 
руемых) переменных У = (у, у®,..., у"))'’ по заданным зна- 
чениям объясняющих (предикторных) переменных Х = (х0), 
2 71 
Хх), ..., ХР)". 
Данная формулировка задачи нуждается в уточнениях. 
В частности, прежде всего мы должны ответить на следующие 
вопросы: 


4, 2уб. . 
120 
и о Иена 
и 
1”: 
80 ; и . 
> : / 
60 и . 
. Г 
и’ 
у . 
40 их 
и’ . . 
/ Г] 
27 и 
/ 


р о ею 0 в т 


Рис. В.2. Графическое представление результатов 
обследования 40 семей по их среднедушевому до- 
ходу (х:) и среднедушевым денежным сбереже- 
ниям (у;) 


а) каково математическое выражение (или структура мо- 
дели [14, с. 68—73]) искомой зависимости между У и Х, запи- 
санное в терминах У, Х, Т(Х) и з = (#9), #42), ..., &т)}? 

6) в соответствии с каким именно критерием качества ап- 
проксимации значений У с помощью функции Г (Х) мы будем 


1Здесь и далее штрих при векторе или матрице означает операцию 
их транспонирования. В данном случае это означает, что У и Х — соот- 
ветственно М- и р-мерные вектор-столбцы. 
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определять наилучший способ восстановления значений ре- 
зультирующих показателей по заданным значениям объясняю- 
щих переменных? 

в) с какой именно прикладной целью мы проводим все на- 
ше исследование, т. е. для решения каких конкретных задач 
мы собираемся использовать построенную в результате ис- 
следования функцию Г (Хх)? 

Прежде чем обсуждать эти вопросы, рассмотрим пример. 

Пример В.1. Анализируется «поведение» двумерной 
случайной величины (Ё, \), где & (руб.) — среднедушевой до- 
ход ит (руб.) — среднедушевые денежные сбережения в се- 
мье, случайно извлеченной из рассматриваемой совокупности 
семей, однородной по своему потребительскому поведению 
(см., например, [128]). В табл. В.1 и на рис. В.2 представлены 
исходные статистические данные вида (В.1), характеризующие 
среднедушевые величины дохода (х;, руб.) и денежных сбе- 
режений (у;, руб.) за определенный отрезок времени, а именно 
за месяц, в каждой (1-й, 1 = 1,2,..., п) обследованной семье рас- 
сматриваемой совокупности семей (в данном условном примере 
объем п статистически обследованной совокупности семей рав- 
нялся 40). В этом примере имелась возможность при отборе 
исходных данных (выборки) контролировать значения предик- 
торной переменной Ё (условия активного эксперимента [14, 
с. 121]), что позволило, в частности, разбить статистически об- 
следованные семьи на четыре равные по объему группы по 
доходам. 

Мы видим, что даже в пределах каждой из этих групп ве- 
личины среднедушевых сбережений семей подвержены неко- 
торому неконтролируемому разбросу, обусловленному влия- 
нием множества не поддающихся строгому учету и контролю 
факторов (т. е. налицо упомянутый выше стохастический ха- 
рактер зависимости между х и и). Однако это еще не значит, 
что расположение точек (х;, и;), являющихся геометрическим 
изображением результатов обследования семей по доходу и 
сбережениям, должно быть совершенно хаотичным и не долж- 
но обнаруживать некоторой вполне определенной тенденции, 
характеризующей зависимость денежных сбережений в се- 
мье (1) от ее среднедушевого дохода (Е). При исследовании по- 
добных зависимостей встают следующие основные вопросы 
(в скобках после вопроса указываются главы, параграфы или 
пункты настоящей книги, ему посвященные). 

1. Как исходя из конкретных прикладных целей исследо- 
вания определить смысл, в котором понимается исследуемая 
зависимость? (В.2, 55.3.) 


2. Имеется ли вообще какая-либо связь между исследуе-. 
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мыми переменными (а в случае многих переменных — какова 
структура этих связей?) и как измерить тесноту этой связи? 
(Гл. 1—4.) 

3. Каков общий математический вид искомой связи между 
} и 6, т. е. как определяется общая структура соответствую- 
щей математической модели? (Гл. 6.) 

4. Как, отправляясь от принятой общей структуры моде- 
ли, провести необходимую вычислительную обработку исход- 
ных данных (В.!) с целью получения конкретного вида 
зависимости т от Е, что позволит в данном случае производить 
количественную оценку неизвестных денежных сбережений 
семьи по заданной величине ее среднедушевого дохода? 
(Гл. 7—10, 13, 14.) 

5. Поскольку наши выводы основаны на обработке огра- 
ниченного ряда наблюдений, то их количественные характери- 
стики, естественно, подвержены (при повторениях соответст- 
вующих выборочных обследований) некоторому случайному 
разбросу. Как оценить степень точности наших выводов? 
(Гл. 11.) 

6. Как решать все вопросы в ситуациях, когда среди объяс- 
няющих (предикторных) переменных могут быть и неколиче- 
ственные? (Гл. 13.) 

7. И наконец, если при сборе исходной статистической 
информации мы находимся в условиях активного эксперимента 
[14, с. 12], то как, при заданных затратах на наблюдения, 
оптимально выбрать матрицу плана [14, с. 26, 68], т. е. как 
определить те значения объясняющих (предикторных) пере- 
менных и то распределение заданного общего числа наблюде- 
ний между этими значениями, которые являются в некотором 
смысле наиболее выгодными с точки зрения достижения наи- 
высшей точности наших статистических выводов? 

Вернемся к нашему примеру и попробуем ответить на не- 
которые из поставленных здесь вопросов, в том числе на прин- 
ципиальные вопросы а), б) и в), ответы на которые позволяют 
уточнить общую формулировку задачи статистического ис- 
следования зависимостей, данную выше. 

Начнем «с конца», т. е. с уточнения конечных прикладных 
целей исследования (см. вопросы 1, а также а) и в)). Известно, 
что из двух анализируемых характеристик материальной со- 
состоятельности семьи характеристика денежных сбережений 
(1) относится к категории статистически труднодоступных: 
содержащиеся в ежегодных и единовременных выборочных 
семейных бюджетных обследованиях ЦСУ [85] сведения о сбе- 
режениях, как правило, непредставительны. Поэтому главной 
конечной целью нашего исследования (опирающегося, как мы 
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Средисдуше- 


вой лоход, И рр то 
руб. = Х1о ==Х1 == == А2о == Хо == 
У1 102 НЫ: 
У? =, У12 =, 
уз =18,5 и1з=43.0 
нету. уа =14,9 уи14=29,0 
Среднелу. ув =24,| у = 17,0 
ежения ув =10,3 Ув = 48, 

р к У? =14,2 117 =18,9 
ув = 31,0 18 =53,0 
уэ =20,4 у19==39,4 
у1с =20,0 У20 =46, 

Среднис сбе- — 0 — о 

режения для у (х1)= у (х°) = 

семе!! дан- 10 6 

ной группы ] -з ] 

=-с У и:=17,9 = У и=40,0 
==} 1551 
Средисквад- $ (х°) = $ (х°) = 


ратическое 


х 20 
отклеисние 
$ и коэффи- -И- Ут к == —- Ув: у (<3))* = 


циеит _ вари- рр рн 

ации у сбе- —6,4 . —=16,0 
реженни для ри ри 

семел — дан- У (^')=36 % У (х°) =40 % 


ной гру лпы 
по дохолам 


булсм всегда предполагать, на достоверную и репрезентатив- 
ную выборку исходных данных) является возможность вос- 
становления (прогноза): 

удельной (т. е. в расчете на одного члена семьи за опре- 
делениый отрезок времени) величины денежных сбережений 
в конкретной семье (у (х)) по заданному значению ее среднеду- 
шевого дохода Хх; 

удельной величины средних денежных сбережений (уср (х)) 
в семьях данной группы х по доходам. 
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Таблица В.1 


Среднедуше- Ха = Ха =... = Хз1 = Хза==... = 
ВОЙ ДОХОД, 
руб. хо = ==160 == ==200 

И —49,6 И ==125,5 

У22 =69,4 Из == 88,3 

Уз ==177,8 и3: = 62,0 
Среднеду- у =43,0 за = 58,8 
шевые сбе- Уз5 =31,8 Узз = 84,0 
режения 1] Узв = 62,6 Узв = 79,0 

Уз = 100,2 Из? == 95,5 

Уз ==68,8 узв =120,8 

Узэ =78,0 Узо == 98,1 

Узо 3229,6 У = 29,7 
Средние сбе- у (х°) = у (х0) = 
режения для :0 40 
семей дан- | 
ной группы => У у;=61,1 т 2. =284,2 

1-=21 [=31 
Среднеквад- 
ратическое $ (хз) = $ (3) == 
отклонение 
5 и коэффи-| _ | ыы — ола — 1 к — ое 
циент вариа- | 9 ИУ (3) = | = о = 
ции У сбе- 1—1 [21 
режений для =722 ‚6 ==28,0 
семей дан- Щ^ ра 
ной группы У (х?) =37 % У (х8) =34 % 


по доходам 


Этой цели мы сможем достигнуть, если сумеем математи- 
чески описать закономерность изменения условных теоретиче- 
ских средних значений у,, (х) = Е (п |8 = х)' в зависимости 


1Здесь и далее используются терминология и обозначения [14]. В 
частности, знаком Е обозначается операция теоретического осред- 
нения, а знаком О — операция вычисления дисперсии случайных ве- 
личин, стоящих за ними. Вертикальная черта разделяет случайную 
величину, над которой производится операция осреднения или вычис- 
ления дисперсии, и условие, при котором эта операция производится. 
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от х, а также изучить характер случайного разброса денеж- 
ных сбережений у (х) отдельных семей данной группы х по 
доходам относительно своего среднего значения Ус, (Хх) (при 
любом интересующем нас значении среднедушевого дохода х). 
Это естественным образом приводит нас к необходимости рас- 
смотрения математической модели вида 


п=/ (+ ь, (В.3) 


в которой остаточная компонента & отражает случайное от- 
клонение денежных сбережений наугад выбранной отдельной 
семьи с доходом Ё =х от среднего значения ус» (х) = 
= Е (и|Е = х) этих сбережений, подсчитанного по всем се- 
мьям данной группы по доходам, а функция /[ (х) описывает 
характер изменения условного среднего уср (х) (при = х) вза- 
висимости от изменения х, если дополнительно прийти к со- 
глашению, что характер случайного разброса величин и (х) = 
= (и|Е = х) относительно своих средних у. (х) таков, что 
Е (&| Е =х) =0 при всех х. 
Таким образом, из (В.3) мы непосредственно получаем 


Усь (Х) = Е (|5 =) =] (%). (В.4) 


Чтобы покончить с вопросами 1, а) и в), остается уточнить 
общую структуру модели, т. е. определить, в каком классе 
Е функций | (х) мы будем производить аппроксимацию искомой 
зависимости Ус (Х). 

В нашем случае, учитывая однородный (по характеру по- 
требительского поведения) состав исследуемой совокупности 
семей, естественно исходить из гипотезы об одинаковой 
(в среднем) склонности семей к сбережениям, выражающейся, 
в частности, в том, что все семьи начиная с некоторого «по- 
рогового» уровня дохода, склонны отделять в сбережения в 
среднем одинаковую долю дохода. Математически, как легко 
понять, это выразится в виде 


Уеср (х) = 6% - 01х, (В.5) 


где 0, и 0, — некоторые константы (неизвестные параметры 
модели). Так что 


Е = {0, + 0,х}, (В.6) 


где под {/(х; 9)} понимается семейство всех тех функций 
[(х; 9), которые могут быть получены при подстановке вме- 
сто © ее различных конкретных значений (9 — векторный па- 
раметр). 

Такой выбор «класса допустимых решений» Е = {{ (х)} 
подтверждается и характером расположения совокупности то- 
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чек, являющихся геометрическим изображением исходных 
данных в нашем примере (см. на рис. В.2 расположение «кре- 
стиков», ординаты которых определяются экспериментально 
подсчитанными, т. е. вычисленными на основании имеющихся 
выборочных данных, условными средними и (х?), [= 1, 
2, 3, 4). 

И наконец, следует уточнить, в соответствии с каким имен- 
но критерием качества аппроксимации неизвестных величин 
среднедушевых семейных денежных сбережений у (х) и ур (%) 
с помощью функции 0, -- 0,х мы будем определять наилуч- 
ший способ прогноза ус, (х) по х. Наиболее обоснованное и 
точное решение этого вопроса опирается на знание вероятност- 
ной природы (а именно типа закона распределения вероятно- 
стей) остатков = в модели (В.3). Так, например, известно [14, 
с. 281], что если предположить, что при любых значениях х 
распределение вероятностей остатков = описывается (0, о”)- 
нормальным законом (т. е. нормальным законом со средним 
значением, равным нулю, и с некоторой, вообще говоря, не- 
известной, но постоянной, т. е. не зависящей от х дисперсией 
0?) и что остатки в (х;), [= 1, 2, ..., п, характеризующие 
различные наблюдения, статистически независимы, то наи- 
меньшая ошибка прогноза уср (х) с помощью модели | (х) ЕЕ 
(т. е. функция ] (х) подбирается из класса Е) обеспечивается 
требованием метода наименьших квадратов 


А, = У (1 пи (В.7) 
1=1 [СЕ 


В нашем примере явно нарушено условие постоянства 
дисперсии остатков (см. табл. В.1), т. е. условная дис- 
персия ЮО (#| Ё = х) = В (м — 60, — 0,-Е|Е = х) = о? (х) су- 
щественно зависит от значения х. Можно устранить это 
нарушение, поделив все анализируемые величины, откла- 
дываемые по оси ц, а следовательно, и остатки з (х), на 
значения $ (х) (являющиеся статистическими оценками для 
о (х)), т. е. перейдя к анализу остатков & (х) = (х)/з (х. 
Тогда можно показать (с помощью методов, описанных, 


1Обращаем внимание ч дтателя на разницу в смысле и обозначениях 
экспериментальных (выборочных) и теоретических условных средних 


соответственно у (х) и уср (х). Строго говоря, на практике теоретичес- 
ких средних мы никогда знать не можем, однако мы опираемся в своем 
исследовании на тот факт, что в соответствии с законом больших чисел 


[14, с. 231] у (х) — %ср (х) (по вероятности), когда число, наблюдений, 
по которым подсчитано и (®),. стремится к бесконечности. 
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например, в [14, $ 11.1]), что гипотеза о (0; о?)-нормальном 


характере распределения остатков ё (х) не противоречит имею- 
щимся в нашем распоряжении данным (представленным в 
табл. В.1) и, следовательно, требование (В.7) приводит к не- 
обходимости решения экстремальной задачи вида 


А, (р = А» (в 6) = У Е } п, (В.7”) 


1—1 $ (х:) 0%, 0, 


т. е. к системе из двух линейных уравнений с двумя неизвест- 
ными (9. и 0): 


— = 17° у; —0,—0, х;) = 0; 

06, 2 (В 7") 
ОА» (бо, 61) Е 
пб 1 — ии. _@ у 

90, 2 У $ (х;) м (и: 0, 0, х:) 0. 


=] 


—^ —> 

Решение системы (В.7”) дает нам в качестве оценок 9. и 0, 

для неизвестных параметров соответственно 9, и 0, выраже- 
НИЯ: 


(> 5—2 его У 3—2 (х;)-х: и) У 5—2 (ед: )Х 


{= 1—1 1=1 


х У (ед. 
= 1—1 


6, = 
( У ее ( У 51 (1. 4) ( У и] 
| — =} 

_ Узи У дя 

ИИ ОНИ 


У 5—2 (х:) У 5—2 (х;) 


Расчет по этим формулам с использованием данных табл. 
В.| дает нам решение задачи 4: 


0, = 0,685; 
0, = —40,360, 


так что статистическая оценка искомой зависимости средней 
величины среднедушевых семейных сбережений ур (х) от зна- 
чения среднедушевого дохода семей данной доходной группы 
х имеет в этом случае вид 


и. (<) = —40,36 - 0,685-х. 


При другой статистической природе остатков # или при от- 
сутствии достаточной информации о типе их вероятностного 
распределения возможен иной, чем по (В.7), выбор критерия 
качества аппроксимации Д»„ (см. гл. 7). Отметим, однако, что 
наиболее широкое распространение в статистической прак- 
тике именно критерия наименьших квадратов (В.7) подкрепле- 
но рядом исследований [15, 196]. В них обосновываются хоро- 
шие прогностические свойства моделей, полученных в соот- 
ветствии с (В.7) и в ситуациях, характеризующихся различ- 
ными отклонениями от нормальности и взаимной независимо- 
сти остатков  (х). 

Заканчивая обсуждение примера В.]1 и возвращаясь к об- 
щему описанию задач статистического исследования зависи- 
мостей, отметим, что функции Г (Х) =Е (|8 = Х), описываю-. 
щие поведение условных средних результирующего показате- 
ля 1 (вычисленных при значениях предикторных переменных 
Ё, зафиксированных на уровне & = Х) в зависимости от изме- 
нения Х, принято называть фучкциями регрессии (подробнее 
о различных определениях функции регрессии см. в гл. 5). 


В.2. Какова конечная прикладная цель 
статистического исследования зависимостей? 


С этого вопроса должно начинаться любое статистическое 
исследование зависимостей!. Ведь от ответа на этот вопрос 
существенно зависят план исследования, выбор общей струк- 
туры математической модели, интерпретация получаемых ста- 
тистических характеристик и выводов И Т. д. 


1\Опыт вынуждает констатировать наличие большого числа при- 
кладных исследовательских работ (статей, диссертаций, изучных отче- 
тов ит. д.), в которых этот тезис, казалось бы, тривнальный ин очевидно 
справедливый, предается забвению. В подобных оаботах стооятся раз- 
личные модели, проводится большое число вычислений, анализируются 
статистические свойства полученных характеристик и т. п., но все это 
в конечном счете как бы «повисает в воздухе», вызывает у компетент- 
ного читателя вопросы: «ну и что?» или «зачем это нужно?», поскольку 
остается неясным, как и для решения каких именно конкретных приклао- 
ных задач предполагается использовать результаты проделанных мате- 
матических упражнений 


19 


Итак, для чего же строятся математические модели типа 
(В.3), описывающие статистические зависимости между ис- 
следуемыми переменными: результирующими показателями 
У = (10, у®),..., у(")) , с одной стороны, и соответствующими 
объясняющими (предикторными) переменными Х = (х), х(2), 
.... Х(Р)), с другой стороны? 

Выделим три основных типа конечных прикладных целей 
подобных исследований, расположив их как бы по нараста- 
нию глубины проникновения в содержательную сущность 
анализируемой конкретной задачи. 

Тип 1: Установление самого факта наличия (или отсутст- 
вия) статистически значимой связи между У и Х. При такой 
постановке задачи статистический вывод имеет двоичную (аль- 
тернативную) природу — «связь есть» или «связи нет» — и со- 
провождается обычно лишь численной характеристикой (из- 
мерителем) степени тесноты исследуемой зависимости. Выбор 
формы связи (т. е. класса допустимых решений Е и конкрет- 
ного вида функции 1 (Х) в модели (В.3)) и состава предикто- 
ров Х играет подчиненную роль и нацелен исключительно на 
максимизацию величины этого измерителя степени тесноты 
связи: исследователю часто не приходится даже «добираться» 
до конкретного вида функции # (Х) и тем более он не претен- 
дует на анализ причинных влияний переменных Х на резуль- 
тирующие показатели. 

Тип 2: прогноз (восстановление) неизвестных значений ин- 
тересующих нас индивидуальных (У (Х) = ч|Е =Х)) или 
средних (Ус, (Х) =Е (п|& = Х) значений исследуемых ре- 
зультирующих показателей по заданным значениям Х соот- 
ветствующих (предикторных) переменных. При такой поста- 
новке задачи статистический вывод включает в себя описание 
интервала (области) Ар (Х) вероятных значений прогнози- 
руемого показателя У (Х) или У (Х) и сопровождается вели- 
чиной доверительной вероятности Р, с которой гарантируется 
справедливость нашего прогноза, формализуемого с помощью 
утверждения вида {У (Х) ЕДА, (Х)} или {У‹, (Х) ЕА, (Х)}. 
Как и в предыдущем случае, выбор формы связи (т. е. класса 
допустимых решений Е и конкретного вида функции Г (Х) 
в модели (В.3)) и состава предикторов Х играет подчиненную 
роль и нацелен исключительно на минимизацию ошибки по- 
лучаемого прогноза. Однако в данном случае (в отличие от 
предыдущего) исследователь существенно использует значе- 
ния функции Г (Х), которые являются отправной точкой при 
построении прогнозных интервалов (областей) А, (Х). Послед- 
ние обычно определяются в форме множества всех тех значе- 
ний У, которые удовлетворяют неравенствам 
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Г (Х) — в, (Х, п) ЗУ Е(Х) - в (Х, п), (В.8) 


где 2=›(Х, п) — гарантируемая (с вероятностью не меньшей 
заданного значения Р) максимальная величина ошибки прог- 
ноза!. Таким образом, исследователя интересуют в данном слу- 
чае лишь значения функции { (Х), но не ее структура, опре- 
деляющая, в частности, соотношение удельных весов влия- 
ния объясняющих переменных х(), х“?), ..., х{Ф) на каждый 
из результирующих показателей и“) (Е = 1,2, ..., т). Так, 
например, если при статистическом оценивании неизвестной 
истинной зависимости 


Х) == у. (Хх, 2) = 1-Е 3х) 4 52) (В.9) 
(Х) == Уср ( ) 


исследователю удалось получить оценку функции Г(Х) в 
виде 


(ХЕ Ев — (2) (В.9’) 


и при этом было установлено, что объясняющие переменные 
Хх) и х() связаны между собой «почти функциональной» 
линейной зависимостью" 


Хх) 2 2х0), (В.10) 


то функция / (Х) будет обладать хорошими прогностическими 
свойствами, несмотря на существенное отличие ее коэффици- 
ентов при х() и х(“2) от соответствующих коэффициентов 
истинной функции [ (Х). (Обращаем внимание читателя на 
тот факт, что коэффициенты при х“?) в функциях [(Х) и 


-— 


Г (Х) отличаются даже по знаку!) При подстановке заданных 
значений объясняющих переменных х() и х(?) в правые ча- 
сти (В.9) и (В.9°), при условии, что эти значения связаны при- 
ближенным соотношением (В.10), мы будем получать совпа- 
дающие (или приближенно совпадающие) результаты } (Х) 


и/ (Х), характеризующие усредненную величину уср (Х) ис- 
следуемого результирующего показателя. 

Тип 3: выявление причинных связей между объясняющими 
переменными Х ци результирующими показателями У, частич. 


1\Напоминаем читателю, что , и У являются т-мерными векто- 
рами (см. (В.2)), так что запись (В.8) означает справедливость т соот- 
ветствующих покомпонентных неравенств. 

2Говоря о «почти функциональной» линейной зависимости между 
х1) и х(2), мы имеем в виду близость к единице (по абсолютной величи- 
не) коэффициента корреляции между этими переменными [14, с. 155}. 
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ное управление значениями У путем регулирования величин 
объясняющих переменных Х. Такая постановка задачи претен- 
дует на проникновение в «физический механизм» изучаемых 
статистических связей, т. е. в тот самый механизм преобразо- 
вания «входных» переменных Х и # в результирующие пока- 
затели У (см. рис. В.1), который в большинстве случаев ис- 
следователь, не будучи в состоянии его конструктивно опи- 
сать, вынужден именовать (следуя сложившейся кибернети- 
ческой терминологии) «черным ящиком». 


И при выявлении причинных связей, и при намерении ис- 
следователя использовать модели типа (В.3) или (В.4) для уп- 
равления значениями результирующих показателей У-‹р (Х) 
или У (Х) путем регулирования величин объясняющих пере- 
менных Х на первый план выходит задача правильного оп- 
ределения структуры модели (т. е. выбора общего вида функ- 
ции{ (Х)), решение которой обеспечивает возможность количе- 
ственного измерения эффекта воздействия на У (Х) каждой из 
объясняющих переменных х(®, х(°), ..., х{Ф) в отдельности. 
Однако как раз это место (правильный выбор общего вида 
функции {# (Х)) и является самым слабым во всей технике ста- 
тистического исследования зависимостей: к сожалению, не 
существует стандартных приемов и методов, которые образовы- 
вали бы строгую теоретическую базу для решения этой важ- 
нейшей задачи (некоторые рекомендации по проведению этого 
этапа исследования содержатся в гл. 6). 


Заметим, что исследователи, пожалуй, чаще других ста- 
вят перед собой именно цели типа 3. И в таких прикладных 
задачах, как управление качеством продукции с помощью ре- 
гулирования хода технологических процессов [95, 47], прог- 
ноз и анализ объемов произведенной продукции по затратам на 
трудовые ресурсы и капитальные вложения [31, 152], построе- 
ние интегральных целевых функций, описывающих эффектив- 
ность функционирования экономических единиц (предприятий, 
семей) по набору частных характеристик [9, 11, 128] и др., 
это вполне оправдано. Однако, к сожалению, далеко не всег- 
да целевые установки исследователей подкреплены объектив- 
ными возможностями их реализации. 


В.3. Математический инструментарий 


Методы статистического исследования зависимостей состав- 
ляют содержание отдельных частей многомерного статистиче- 
ского анализа, который можно определить [8, с. 731] как раз- 
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дел математической статистики, посвященный построению 
оптимальных планов сбора, систематизации и обработки мно- 
гомерных статистических данных типа (В.1), нацеленных в 
первую очередь на выявление характера и структуры взаимо- 
связей между компонентами исследуемого многомерного при- 
знака (Х, У) и предназначенных для получения научных и 
практических выводов. При этом среди р -- т компонент ис- 
следуемого многомерного признака (Х, У) могут быть: ко- 
личественные, т. е. скалярно измеряющие в определенной шка- 
ле степень проявления изучаемого свойства объекта (денеж- 
ный доход и сбережения семьи, объем валовой продукции, 
численность работников на предприятии и т. п.); порядковые 
(или ординальные), т. е. позволяющие упорядочивать анализи- 
руемые объекты по степени проявления в них изучаемого 
свойства (уровень жилищных условий семьи, квалификацион- 
ный разряд рабочего, уровень образования работника ит. п.); 
классификационные (или номинальные), т. е. позволяющие раз- 
бивать обследованную совокупность объектов на не поддаю- 
щиеся упорядочиванию однородные (по анализируемому свой- 
ству} классы (профессия работника, мотив миграции семьи, 
отрасль промышленности и т. п.). Разделы многомерного ста- 
тистического анализа, составляющие математический аппарат 
статистического исследования зависимостей, формировались 
и развивались с учетом специфики анализнруемых моделей, 
обусловленной природой изучаемых переменных. Соответст- 
вующая специализация этих разделов отражена в табл. В.2. 
В ней же указаны главы данной книги и другие литературные 
источники, посвященные описанию указанных разделов. 

Из табл. В.2 видно, что данная книга не охватывает мето- 
дов исследования зависимостей неколичественного или сме- 
шанного (разнотипного) результирующего показателя ОТ Ко- 
личественных или смешанных объясняющих переменных: 
объемность и специфичность указанной темы обусловливают 
целесообразность посвящения ей специального издания. 

Кроме того, принцип систематизации различных схем, при- 
нятый в табл. В.2, не приспособлен для выделения одного важ- 
ного (особенно в области социально-экономических приложе- 
ний) случая, когда связи между количественными перемен- 
ными АХ и У описываются системой одновременных иравнений, 
в которых одни и те же переменные могут играть одновремен- 
но (в различных уравнениях системы} и роль результирующих, 
и роль объясняющих. Этому посвящена теория одновременных 
эконометрических уравнений, основные результаты которой 
представлены в гл. 14. 
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8.4. Некоторые типовые задачи практики 


Накопленный опыт практического использования аппарата ста- 
тистического исследования зависимостей позволяет выделить 
те типы основных прикладных направлений исследований, 
в которых этот аппарат работает особенно часто и плодотво- 
рно. Если попытаться расщепить общую проблему оптималь- 
ного управления сложной системой (т. е. центральную проб- 
лему кибернетики) на основные составляющие (рис. В.3), то 


Проблема оттимальиоео управления 
сложиой системой 


щенка трувие- 
бступных вдя 
иепосредс/76е/- 
и0го надлюде- 
НИЯ Ц ЧЗМРРЕ- 

иця параме?- 
208 системь/ 


ОАПИМАЛЕ- 
НОЕ регу- 


ЩЕНКа 
эрфектив 
АГА 
ФУИКЦЦО- 
иЦрования 


Проги 03, 
планиря- 
бани, 
9иаенос- 
тика 


Ирмиро- 
вание 


САСТЕМЬ 


Исходиье статистические данные 
(информациенная 9пза) 


Рис. В.3. Основные направления практического использования аппа- 
рата статистического исследования зависимостей и центральная 
проблема кибернетики 


в качестве этих составляющих как раз и фигурируют именно 
те направления прикладных исследований, в разработке ко- 
торых существенную роль играет математический аппарат 
статистического исследования зависимостей. 
Естественность предложенного здесь расщепления общей 
проблемы оптимального управления сложной системой легко 
пояснить практически на любом примере принятия управлен- 
ческого решения. Остановимся, скажем, на примере принятия 
управленческого решения руководителем производственного 
или учрежденческого подразделения при зачислении в штат 
нового сотрудника. Основываясь на знании необходимой ин- 
формационной базы (в данном случае это целевые установки 
и возможности подразделения и основные сведения о прини- 
маемом сотруднике), лицо, принимающее решение (ЛПР), 
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должно последовательно проанализировать и решить следую- 
щие задачи: 

а) определить нормативные требования к деятельности 
сотрудников, т. е. пронормировать их труд (направление 1 
на рис. В.3); 

6) спрогнозировать возможности сотрудника и, сопоста- 
вив их с основными целевыми установками подразделения, 
спланировать его деятельность, включив ее в план общего 
фронта работ, выполняемых подразделением (направление 
11); 

в) при прогнозировании потенциальных возможностей но- 
вого сотрудника (а в ряде случаев — и при последующей 
оценке эффективности его деятельности) весьма существен- 
ным оказывается умение оценить ряд таких не поддаю- 
щихся непосредственному измерению его качеств, как инициа- 
тивность, творческая активность, дисциплинированность, тру- 
долюбие, обязательность, «контактность» с другими членами 
коллектива и т. п. (направление [1Т); 

г) в некоторых (особенно непроизводственных) областях 
деятельности человека оценка эффективности его работы (без 
которой невозможно оптимальное управление) сводится к 
весьма трудной задаче построения агрегированного показате- 
ля (латентного, т. е. скрытого, непосредственно не измерле- 
мого) ее качества (направление [\); 

д) и наконец, опнраясь на решение задач а)—г) и на воз- 
можность регулирования параметров (в данном случае стиму- 
лирующего и «штрафного» характера), от которых в определен- 
ной мере и в соответствии с некоторой, как правило, статисти- 
ческой закономерностью зависит уровень эффективности ра- 
боты сотрудника, /ПТР осуществляет такую «настройку» зна- 
чений этих параметров, которая обеспечивает, по возможности, 
оптимальный режим функционирования всей системы, т. е. 
вверенного ему подразделения (направление \У.). 

Остановимся кратко на роли методов статистического ис- 
следования зависимостей в разработке каждого из упомяну- 
тых направлений. 

1. Нормирование. Общая схема формирования нормативов 
с использованием методов статистического исследования за- 
висимостей может быть представлена следующим образом. 
Нормативный показатель играет в моделях типа (В.3)—(В.4) 
роль результирующей (объясняемой) переменной у, а факто- 
ры, участвующие в расчете нормативного показателя, — роль 
объясняющих (предикторных) переменных х(®, х(®), ..., ХР). 
Предполагается, что привлечение для расчета норматива И 
полной системы определяющих его факторов, т. е. такой си- 
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стемы, с Помощью которой возможно детерминированное 
(однозначное) определение величины у, либо принципиально 
невозможно, либо нецелесообразно из-за чрезмерного услож- 
нения расчетных формул. Поэтому анализируется связь между 
уи (хх), х®), ..., х(Р)) вида 


у = (хо, х®, ..., хр); 0) - &, (В.11) 


где = — остаточная случайная компонента, обусловливающая 
возможную погрешность в определении норматива у по из- 
вестным значениям факторов х(®, х(®), ..., х{Р), а [(Х; 9) — 
функция из некоторого известного параметрического семейст- 
ва Е = {/(Х; 9)}, ОСА, однако численное значение входя- 
щего в ее уравнение параметра © (вообще говоря, векторно- 
го) неизвестно. С целью подбора «подходящего» значения ©9 
проводится контрольный эксперимент (наблюдение), в резуль- 
тате которого исследователь получает исходные статистиче- 
ские данные вида (В.1). Далее на основании этих данных 
проводится необходимый статистический анализ модели 


(В.11) с целью получения оценки ©9 неизвестного параметра 9 
и анализа точности полученной расчетной формулы Ус, (Х) = 
=} (Х; 9), в которой величина условной (экспериментальной) 


средней Ус, (Х) интерпретируется как средний нормативный 
показатель при значениях определяющих факторов, равных Х. 

Данный подход использовался, в частности, при разработ- 
ке методик расчета численности служащих (по различным их 
функциям) на промышленном предприятии отрасли по набору 
технико-экономических показателей, характеризующих пред- 
приятие, при построении автоматизированных систем норми- 
рования ремонтных работ [82] и в других областях (см., на- 
пример, ГОСТ 22015—76 «Качество продукции. Нормирова- 
ние и статистическая оценка качества металлических мате- 
риалов и изделий по механическим характеристикам»). 

|. Прогноз, планирование, диагностика. Отправляясь от 
общей формулировки задачи статистического исследования 
зависимостей (см. $ В.1) и от ее модельной записи (В.1]), 
определим в качестве результирующей переменной у интере- 
сующий нас прогнозируемый (планируемый, диагностируе- 
мый) показатель, а в качестве объясняющих (предикторных) 
переменных х(®, х(?), ..., х(Р) — сопутствующие факторы, 
значения которых содержат основную информацию о величине 
этого показателя". Наличие остаточной случайной компоненты 


1В моделях прогноза и планирования в качестве одного из объяс- 
няющих факторов х(®) вводится в явном виде «длина прогноза», или 
«горизонт планирования», { (в единицах времени). 
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=, как и прежде, отражает тот факт, что переменные (1), х(?), 

‚ ХР) содержат не всю информацию об у, и обусловливает 
неизбежность погрешиости в определении прогнозируемого 
(планируемого, диагностируемого) показателя по известным 


значениям объясняющих факторов х(1), х(®), ..., х(?). Исход- 
ные статистические данные вида (В.1) исследователь получа- 
ет, регистрируя одновременно значения уи (х(*), ..., ^{Р)) на 


анализируемых объектах в прошлом (в базовом периоде) или 
на других объектах, но однородных с анализируемыми. 

Имеется обширная литература по решению задач прогно- 
за, планирования и диагностики с использованием аппарата 
статистического исследования зависимостей [4, 29, З1, 47, 80, 
93, 128, 144, 152, 163]. В табл. В.3 приведены примеры не- 
которых типичных задач этого направления прикладных ис- 
следований. 

Можно было бы продолжить перечень примеров табл. В.З, 
заполнив их аналогичными, задачами из энергетики (задача 
оперативного и долгосрочного прогноза потребления электро- 
энергии), гидрологии, социологии, физики и других областей 
деятельности человека. 

111. Оценка труднодоступных для непосредственного на- 
блюдения и измерения параметров системы. Восстановление 
возраста археологической находки по ряду косвенных призна- 
ков; прочности бетона с помощью косвенных (неразрушающих) 
методов контроля (например, по отношению диаметров отпе- 
чатков на поверхности испытуемого образца бетона и на воз- 
действующем на него эталонном молотке [16]); денежных сбе- 
режений семьи по ее доходу (в среднедушевом исчисленни) — 
во всех этих ситуациях исследователь вынужден иметь дело 
с показателями, труднодоступными для непосредственного из- 
мерения (они выделены в тексте курсивом). Очевидно, для того 
чтобы иметь принципиальную возможность статистически вы- 
явить связь, существующую между труднодоступным показа- 
телем у и косвенно связанными с ним, но легко поддающими- 
ся наблюдению и измерению признаками х(®), х(2), ..., х(Р), ис- 
следователю необходимо располагать исходными статистиче- 
скими данными вида (В.1), которые получают с помощью спе- 
циально организованного контрольного эксперимента или на- 
блюдения [16]. После того как эта связь выявлена (и оценена 
степень ее точности), она используется для косвенного опре- 
деления значений труднодоступных показателей лишь по зна- 
чениям объясняющих переменных х(1), х(?), ..., х(Ф). 

ГУ. Оценка эффективности функционирования (или каче- 
ства) анализируемой системы. Пытаясь оценить (в целом) 
эффективность деятельности отдельного специалиста, подраз- 
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деления или предприятия, проранжировать страны по неко- 
торому интегральному качеству (например, по степени про- 
грессивности структуры их фондов потребления или всего 
национального дохода [11]), наконец, проставить балльные 
оценки спортсмену — участнику командных соревнований в 
игровых видах спорта за качество его игры в определенном 
цикле [11], мы каждый раз, по существу, решаем (на интуи- 
тивном уровне) одну и ту же задачу: отправляясь в своем ана- 
лизе от набора частных показателей х(), х(?), ..., х(Р), каж- 
дый из которых может быть измерен и характеризует какую- 
нибудь одну частную сторону понятия «эффективность», мы 
их как бы взвешиваем (т. е. внутренне оцениваем удельный 
вес их влияния на общее, агрегированное, понятие эффектив- 
ности) и выходим на некоторый скалярный агрегированный 
показатель эффективности у. Этот показатель — латентный 
(скрытый), так как он принципиально не поддается непосредст- 
венному измерению (не существует или нам не известна объек- 
тивная шкала, в которой он мог бы быть измерен). Но он с 
некоторой точностью восстанавливается по значениям частных 


показателей эффективности х(), х(?),..., х{Р). Это значит, что 
между латентным агрегированным показателем у и набором 
частных критериев эффективности х(), х(?), ..., х{Ф) сущест- 


вует статистическая связь типа (В.1]). 

Главная особенность (и трудноёть) описываемой ситуации 
заключается в том, что при получении (сборе) исходной ста- 
тистической информации вида (В.1) значения результирую- 
щего показателя у могут быть получены только с помощью спе- 
циально организованного экспертного опроса (значения ча- 
стных критериев эффективности х('), х(®), ..., х{Р), как пра- 
вило, поддаются непосредственному измерению). Форма экс- 
пертной информации о значениях у может быть различной 
(балльные оценки, упорядочения, парные сравнения [11)). 
Но только располагая наряду со статистической информацией 
об Х = (х(1), х@),..., х())’ одной из форм соответствующей 
экспертной информации об у, мы можем статистически по- 


строить некоторую аппроксимацию р (Х) = /(Х; Е) для 
агрегированного критерия эффективности функционирования 
системы и использовать ее затем в качестве формализованно- 
го метода оценки интегрального понятия эффективности (т. е. 
уже без привлечения экспертов, а лишь по частным критериям 
х0), х(), ..., х(Р)). Такая модифицированная форма исполь- 
зования аппарата статистического исследования зависимостей 
предложена в [9], развита в [68] и носит название экспертно- 
статистического метода построения неизвестной целевой 
функции. 
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В описанную схему вкладывается широкий класс задач 
теории и практики измерения комплексного понятия «каче- 
ство» сложного ‘изделия (т. е. квалиметрии [5]): в этих задачах 
у интерпретируется как агрегированный (комплексный) пока- 
затель качества изделия, а х(\), х(?),..., х(р) — как отдельные 
частные характеристики его качества (надежность, экономич- 
ность, удобство пользования, эстетический вид и т. п.). В ка- 
честве параметрических семейств Е = {{(Х; 9)}, привлекае- 
мых при статистическом анализе задач данного типа, чаще дру- 
гих используются функции линейные 


Е(Х; 0) = 6% --6, ха» -- ... + 0, х (В.12) 
ни степенные 
Р(Х; ©) = 6% (х00)8 (хо) ... (хр (В.13) 


последняя особенно характерна для задач квалиметрии). 

Остается отметить, что и традиционные подходы аппарата 
статистического исследования зависимостей (классический ре- 
грессионный анализ, метод наименьших квадратов и т. п.) 
широко используются в практике оценки технического уров- 
ня и качества продукции. Это, в частности, отражено и в со- 
ответствующей официальной документации (см., например, 
РД 50—149—79: Методические указания по оценке техниче- 
ского уровня и качества промышленной продукции. Основные 
положения; ГОСТ 22732—77: Методы оценки уровня каче- 
ства промышленной продукции и др.). 

\У. Оптимальное регулирование параметров функциониро- 
вания анализируемой системы. Рассмотрим пример [10]. 
При анализе производительности мартеновских печей на одном 
из заводов исследовалась, в частности, зависимость между про- 
изводительностью в тонно/часах (для исключения влияния за- 
держек и простоев часовая производительность мартеновской 
печи определялась как частное от деления массы плавки на 
продолжительность периода от начала завалки до выпуска) и 
процентным содержанием углерода в металле по расплавле- 
нии ванны (пробу брали через час после первого скачивания 
шлака). Результаты замеров по 130 плавкам (т. е. объем п 
обрабатываемой статистической выборки вида (В.1) равен 130) 
приведены на рис. В.4. Очевидно, величины. производительнос- 
ти (у:) и процентного содержания углерода (х;) подвержены не- 
которому неконтролируемому разбросу, обусловленному влия- 
нием множества не поддающихся строгому учету и контролю 
факторов. Другими словами, последовательность пар чисел 
(х, у), 1=1,2,..., 130, представляет в данном случае ре- 
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зультаты 130 независимых наблюдений двумерной случайной 
величины (Е, 1). Однако сквозь кажущуюся хаотичность рас- 
положения точек (х;, у;) на рис. В.4 просматривается вполне 
определенная закономерность зависимости условного средне- 
го значения производительности у, (х) = Е (Е =х) от 
величины процентного содержания углерода х. Поэтому, рас- 
полагая статистической зависимостью ус, (х), мы можем дать 
рекомендации технологу по оптимальному (с точки зрения мак- 

симизации производительности) 

у. т/Ч управлению процессом выплав- 
18 ки: поддерживать процентное 
содержание углерода в пределах 
0,6—1,0%. 

Мы не случайно начали с 
этого примера. Использование 
методов статистического иссле- 
дования зависимостей в задачах 
оптимального регулирования хо- 
да технологического процесса и 
построения соответствующих ав- 
томатизированных систем управ- 

Рис. В.4. Зависимость про-  ЛеНИЯ технологическими процес- 

изводительности (у, т/ч) сами (АСУТП) можно отнести к 

от процентного содержания примерам грамотных и относи- 

углерода (х, %) в металле тельно распространенных акту- 

до расплавления . 

альных приложений этого аппа- 

рата [47, 145]. Общая схема 
таких приложений предусматривает (в дополнение к приве- 
денному выше частному примеру ): а) одновременное рассмот- 
рение. нескольких результирующих показателей у(®, и(,..., 
и") (производительность, качество продукции, расход сырья 
и энергии ит. п.) и многих регулируемых параметров техно- 
логического процесса х(1), х(®),..., х(р); 6) возможность сбора 
исходной статистической информации вида (В.1) в условиях 
активного эксперимента (см. $ В.1, задача 7). 

Менее освоенным (но не менее правомерным и актуальным) 
является этот подход в задачах оптимального регулирования: 

характеристик социально-экономического поведения лю- 
дей и целых коллективов в ситуациях, когда существует прин 
ципиальная возможность выявления статистических связеи 
между этими характеристиками и набором объясняющих (и 
хотя бы частично регулируемых) факторов [40, 128]; 

характеристик курса медицинского лечения; 

структуры и объемов нагрузок и видов заданий в процес- 
се профессиональной подготовки специалистов. 
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В.5. Основные типы зависимостей 
между количественными переменными 


При изучении взаимосвязей между анализируемыми количест- 
венными показателями следует установить, к какому именно 
типу зависимостей относится исследуемая схема. Под типом 
зависимости мы подразумеваем в данном случае не аналитиче- 
ский вид функции У, (Х) = }(Х; 9) в моделях вида (В.11) 
(о выборе общего аналитического вида функции | (Х; 9) см. 
гл. 6), а природу анализируемых переменных (Х, у) и соот- 


ветственно интерпретацию функции / (Х; 9) в каждом конкрет- 
ном случае. 


Зависимость между неслучайными переменными (схема А). 
В этом случае результирующий показатель у детерминированно 
(т. е. вполне определенно, однозначно) восстанавливается по 
значениям неслучайных объясняющих переменных Х = 
== (х(), х(),..., х{)), т. е. значения у зависят только от со- 
ответствующих значений Х и полностью ими определяются. 
Это — обычная схема чисто функциональной зависимости 
между неслучайными переменными, когда у является некото- 
рой функцией от р переменных Х (т.е. у = / (Х)), что является 
вырожденным случаем зависимостей вида (В.11), когда оста- 


точная случайная компонента = равна нулю (с вероятностью 
единица). 


Известно, например, что возраст дерева у (в годах) можно 
однозначно восстановить по числу колец х на срезе его ство- 
ла, а именно у = х. Примеры адекватного описания реальных 
зависимостей с помощью чисто функциональных (нестохастиче- 
ских) связей, к сожалению, крайне редки в практике исследо- 
ваний. Кроме того, при проведении их анализа нет необхо- 
димости использовать методы вероятностно-статистической 
теории. Поэтому в дальнейшем изложении мы не будем больше 
возвращаться к этому типу зависимостей. 


Регрессионная зависимость случайного результирующего 
показателя | от неслучайных предсказывающих переменных 
Х (схема В). Природа такой связи может носить двойственный 
характер: а) регистрация результирующего показателя \ не- 
избежно связана с некоторыми случайными ошибками измере- 
ния &, в то время как предикторные (объясняющие) перемен- 
ные Х = (х(®, х®), ..., х(Ф))’ измеряются без ошибок (или ве- 
личины этих ошибок пренебрежимо малы по сравнению с со- 
ответствующими ошибками измерения результирующего по- 
казателя); 6) значения результирующего показателя п за- 
висят не только от соответствующих значений Х, но и еще от 
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ряда неконтролируемых факторов, поэтому при каждом фик- 
сированном значении Х* соответствующие значения резуль- 
тирующего показателя \ (Х*) = (1|Х = Х*) неизбежно под- 
вержены некоторому случайному разбросу. 

В этом случае предикторные переменные Х играют роль не- 
случайного (векторного при р >> 1) параметра, от которого за- 
висит закон распределения вероятностей (в частности, сред- 
нее значение и дисперсия) исследуемого результирующего по- 
‚‘казателя 1. Удобной математической моделью такого рода за- 
висимостей является разложение вида 


п (Х) = Р(Х) - = (Х}, (В.14) 


в котором неслучайная составляющая правой части (функция 
(Х)) описывает поведение условного среднего ус, (Х) = 
= Ел (Х) = }(Х) в зависимости от Х, а остаточная случай- 
ная компонента = (Х) отражает случайную природу т (Х). 
В широком классе исследуемых схем модель (В.14) строится 
таким образом, что математическое ожидание случайного ос- 
татка = (Х) равно нулю (Её (Х) == 0) тождественно по Х; пред- 
полагается обычно, что при всех Х существует конечная дис- 
персия = (Х) (т. е. 0 (Х) < о), причем величина этой дис- 
персии, вообще говоря, может зависеть от Х (т. е. Оз (Х) = 
—= 0? (Х)). Подчеркнем то обстоятельство, что в описанной 
модели (В.14) ни природа случайной компоненты  (Х), ни 
соответственно характеристики ее вероятностного распреде- 
ления никак не связаны со структурой функции [ (Х) и, в 
частности, не зависят от значений ее параметра 9 в парамет- 
рической записи модели (т.е. когда вместо всех возможных 
функций /(Х) рассматривают какое-либо параметрическое 
семейство | (Х; ©), см., например, (В.12), (В.13)). 

Если вернуться к примеру В.|, то можно убедиться, что 
он хорошо укладывается в рамки модели (В.14). Для этого сле- 
дует лишь заметить, что имевшаяся в этом примере возможность 
контролировать значения предикторной переменной Ё, по 
существу, переводит эту переменную из категории случайных 
величин в категорию неслучайных (контролируемых) парамет- 
ров модели. Дальнейший анализ примера В.1 (см. табл. В.1, 
формулу (В.5) и рис. В.2) подсказал нам следующую конкре- 
тизацию допущений о природе составных частей модели (В.14): 


Уср (Х) = Ел (х) =[(х) = 6, - 0, х, 


| (В.15) 
0? (х) = О (х) = 00-(Иср (х))*, 


“А бо — Константа, не зависящая от х. 


Пример В.2. В табл. В.4 и на рис. В.5 представлены 
результаты усталостных испытаний алюминиевых сплавов 
[125], т. е. набор сорока пар (х;, и;), [= 1,2, ..., 40, экспери- 
ментальных значений величин х и т соответственно. 

Если при сборе выборочных данных, составляющих дву- 
мерную систему наблюдений, производится по нескольку на- 
блюдений при каждом фиксированном значении аргумента, 
а также в случае разбиения диапазона переменной — аргу- 
мента на интервалы группирования АС, в общую схему обо- 
значений двумерной системы наблю- 
деннй (В.1) целесообразно внести 
некоторые изменения. 

Так, если № — число различных 
фиксированных значений предиктор- 
ной переменной (или количество ин- 
тервалов группирования АС, на ко- 


торые разбит весь обследованный диа- 
пазон этой переменной), а 11; (1 = 1, 
2, ..., №) — количество наблюдений, 
произведенных при {1-м фиксирован- 
ном значении аргумента (или количе- 
ство наблюдений, попавших в 1-й ин- 
тервал разбиения А(“)), то результаты 


наблюдений удобнее снабдить двумя 
индексами, т. е. записать в виде (х;,, 19 14 14 т 
у), где Г — 1, 2, 1 А, 1 — 1, 2,.., Рис. В.5. Графиче- 
т,;. Здесь первый индекс (г) обозначает ское — представление 
порядковый номер фиксированного результатов  устало- 
значения независимой переменной стных испытаний 
(или порядковый номер интервала алюминиевых  спла- 
группирования), а второй индекс ()— °“” 

порядковый номер наблюдения, про- 

изведенного при данном {1-м фиксированном значении аргумгн- 
та (или порядковый номер наблюдения, попадающего в [-й ин- 
тервал группирования). Так, например, под (х.5, Из5}) пони- 
мается результат пятого ‘по порядку наблюдения, произведен- 
ного при третьем фиксированном значении аргумента (или по- 
падающего в третий интервал группирования А“). В наших 
рассмотрениях будут фигурировать также величины 51, хз, 
.... ХЕ, представляющие собой последовательность различных 
фиксированных значений аргумента, при которых производи- 
лись наблюдения (или средние точки интервалов группирова- 


ния Д@)), а также условные средние зависимой переменной 
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Таблица БВ.4 


: х} т; | Ут | У | 9:3 У: а Ут 
] 1,28 10 6,34 6,34 6,41 6,42 6,80 
2 1,30 10 5, 95 6,04 6,11 6,31 6, 36 
3 1,40 10 5,23 5,27 5,32 5,39 5,40 
4 1,48 10 4,55 4,65 4, 65 4,68 4,72 
: У:6 Ут У:в Ут9 Уг1о | у; 5? (хр) 
| 6,85 | 6,91 6,91 7,02 7,12 | 6,71 0,091 
2 6,52 6,60 6, 62 6,64 | б6,171 6,39 0,076 
3 5,52 5,52 5,53 6,60 5, 78 5,46 0,020 
4 4,73 4,78 4,78 4,84 4,86 4,72 0,009 


у(Ж) = у: = — (Уи РУв +... К Ут, ), 


характеризующие средние значения результирующего показа- 
теля при каждом фиксированном значении аргумента х? (или 
средние значения в каждом отдельном интервале группирова- 
ния Аб). 

Очевидно, что в ситуациях, когда производится по несколь- 
ку наблюдений при каждом фиксированном значении аргу- 
мента, мы будем иметь 


—_ _ ц0. 
Кл == Х12 =... = А, = Х, 


0 
Хоз == Х2о == ... — Х2т. — Х2 ИТ. Д. 


В качестве результирующего показателя — случайной пе- 
ременной 1] в нашем примере рассматривается характеристика 
долговечности образца — нормированная величина лога- 
рифма числа циклов № до разрушения образца, а в качестве 
неслучайной предикторной переменной х — логарифм со- 
ответствующей величины эксплуатационного напряжения У, 
Н/мм* (кг/мм?). Очевидно, долговечность, образца зависит 
также от целого ряда неконтролируемых факторов (случайное 
варьирование условий эксперимента, свойств самих образцов 
ит. п.), поэтому при каждом уровне напряжения характери- 
стики долговечности будут подвержены некоторому случайно- 
му разбросу около своего среднего. 
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Расположение экспериментальных точек (х;, и;) на рис. В.5 
указывает на систематическую закономерность в поведении 


т. 


о 1 1 . 
условных средних и; — > № ;} В зависимости от номера #, 
# 1—1 


т. е. от величины х; их расположение близко к прямолинейно- 
му. Это приводит к гипотезе о целесообразности представле- 
ния исследуемой случайной величины выражением (В.15). 
Первыми шагами исследователя может быть приближенная 
оценка прямой у, (х) = 0, -- 6.х, а также меры случай- 
ного разброса индивидуальных значений \ вокруг этой 
прямой, характеризующейся в первом приближении только 
эмпирическими дисперсиями 5* (х?). Однако при проведении 
более точного количественного анализа возникают следующие: 
вопросы: как наиболее точно провести прямую Усь (х) =09,-- 
-- 0,х; как оценить степень точности построенной зависимости; 
нельзя ли строить математически обоснованные зоны (так на- 
зываемые доверительные интервалы и границы) около иссле- 
дуемой прямой, попадание в которые эмпирических индивиду- 
альных или средних значений \ при каждом фиксированном х 
гарантировалось бы с заранее заданной вероятностью? От- 
веты на все эти вопросы и дает регрессионный анализ (см. гл. 
5—11). 

Корреляционно-регрессионная зависимость между случай- 
ными векторами п — результирующим показателем и ЕЁ — 
предикторной переменной (схема С). В данном типе моделей 
и компоненты вектора результирующего показателя 1, и ком- 
поненты вектора объясняющих переменных Ё зависят от мно- 
жества неконтролируемых факторов, так что являются слу- 
чайными по своей физической сущности. Мы уже сталкивались 
с такой ситуацией в примере, в котором исследовалась связь 
между производительностью мартеновских печей и процент- 
ным содержанием углерода в металле (см. рис. В.4). Зависи- 
мости такого типа вообще характерны для описания хода тех- 
нологических процессов, реальные значения параметров ко- 
торых & = (Ё*), &%, ..., &(Р))', равно как и характеризующие 
их результирующие показатели п = (1), 1®, ..., 1(”))', 
как правило, флюктунруют случайным (но взаимосвязанным) 
образом около установленных номиналов. 


В подобных ситуациях оказывается полезным рассмотреть 
разложение исследуемого результирующего показателя ц на 
две случайные составляющие по формуле типа (В.3). Первая 
из них определяется некоторой (векторнозначной) функцией 1 
от объясняющей переменной &, а вторая отражает остаточные 
влияния неучтенных случайных факторов на анализируемый 
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результирующий показатель п. Итак 
п =Е (5) + =. (В.16) 


При этом разложение (В.16) строится таким образом, что- 
бы для компонент векторов { (Ё) и # выполнялись соотношения 
Е=(*) = 0, 0=(*) = 0? < оо, со\ (® (2), #(")) = Е Г(К®) (Е) . &(®) |-— 
—Е Г» (Е).Е =) = 0. 

В частном случае единственного результирующего показа- 
теля (т = 1) и линейного вида функции } (8) имеем: 


= У в, Е +. (В.17) 
=! 


Подразумевая, как и прежде, под ус, (Х) =Е (1 =Х) 
условное математическое ожидание результирующего показа- 
теля т (при условии, что объясняющая переменная & приняла 
значение, равное Х), мы от (В.17) приходим к линейному урав- 
нению регрессии 


фер (Х) = 0, + У 0, ж®. (В.18) 


к=1 


Возможны случаи, когда вторая (остаточная) компонента 
в разложении (В.16) с полной мерой достоверности (т. е. с ве- 
роятностью единица) равна нулю. При этом исследуемые слу- 
чайные величины \ и Ё оказываются связанными чисто функ- 
циональной зависимостью \ = } (Е), но ее следует отличать от 
функциональной зависимости неслучайных переменных (см. 
выше, схема А). 

Пример В.3. Рис. В.б иллюстрирует связь между 
вакуумом в печи для отжига стекла Ё и процентом брака 1] 
в стекольном производстве [10]. 

Случайные изменения свойств сырья, а также ряда неконт- 
ролируемых факторов приводят к случайным колебаниям обе- 
их исследуемых переменных. Однако расположение точек на 
рис. В.б свидетельствует о том, что эти колебания взаимосвя- 
заны, подчинены вполне определенной закономерности: ‹«об- 
лако» рассеяния вытянуто вдоль некоторой прямой, не парал- 
лельной ни одной из координатных осей. Все это подтверждает. 
целесообразность разложения случайной величины \ по фор- 
муле (В.16) и исследования связи между \ и Ё, которая в этом 
случае носит название корреляционной. К перечисленным во- 
просам регрессионного анализа (построение конкретного вида 
зависимости между переменными, различные оценки ее точ- 
ности) в этом случае присоединяется круг вопросов, связанных 
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с исследованием степени тесноты связи между этими перемен- 
ными. Совокупность методов, позволяющих решать эти во- 
просы, принято называть корреляционным анализом (см. 
гл. 1—3). 

Зависимости структурного типа, или зависимости по схеме 
конфлюэнтного анализа (схемы О, и О.). В обеих описы- 
ваемых ниже схемах речь идет о восстановлении искомых за- 
висимостей по искаженным наблюдениям анализируемых пе- 
ременных, причем, в отличие от регрессионной схемы В, ис- 
каженными оказываются при наблюдении не только значения 
результирующего показателя, но 
и значения объясняющих (предик- 1% 


торных) переменных х(!), х“2), ..., 4 

х(Р). В зависимости от того, между $29 

какими именно переменными — 

неслучайными или случайными — 2.2 
исследуются связи, мы будем иметь 1 

соответственно тип связи по схеме 47: 1219 19 441645 1517 
р, или О.. Оба эти типа связей 5 


упоминаются в специальной лите- Рис. В.6. Графическое 
ратуре как спруктурные зависимо- представление данных по 
сти [65, с. 500—557] или как за- СВЯЗИ вакуума в печи 
для обжига стекла (Ё) 
висимости по схеме конфлюэнтного и процента брака в сте- 
анализа [7, 10]. Таким образом, кольном производстве 
конфлюэнтный анализ предоставля- (п) 
ет исследователю совокупность ме- 
тодов математико-статистической обработки данных, относя- 
щихся к анализу априори постулируемых функциональных 
связей между количественными (случайными или неслучайны- 
ми) переменными У = (и, ..., и(”)’и Х = (х@), х@®, .., х{))' 
в условиях, когда наблюдаются не сами переменные, а слу- 
чайные величины 


— 1 — . 
КО = Жо Е, =1,2,... р; 


ПР = ИР ЕР, 1=Ь2,...т; 151,2, п, (В.19) 


Е Г Е & 
где =) и & — случайные ошибки измерений соответственно 


переменных х““® и УР) в 1-м наблюдении, а п — общее число 
наблюдений. При этом общий вид исследуемых функциональ- 
ных (структурных): связей 


(1) 0) (хо, . х(Р); 9) 
о... (В.20) 
ут) р" (х(1), и. х(Р); 9) 
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между ненаблюдаемыми, а точнее, наблюдаемыми с ошибками 
переменными считается заданным (неизвестным является лишь 


значение векторного параметра © == (6,, ..., 0м), участвую- 
щего в уравнениях искомых зависимостей (В.20)). 

Схема Оу: исследуемыз переменные Х == (х(®, ..., х{Р))'’и 
У = (15, .., и)’ не случайны. Для упрощения обозначе- 


ний проанализируем зависимости (В.19)—(В.20) в рамках 
данной схемы лишь для одного результнрующего показателя 
и одной объясняющей переменной (случай т = 1, р=]): 
обобщение этого анализа на случай т >| ир > | не пред- 
ставляет принципиальных трудностей. 

Учитывая формулы (В.19) и (В.20) и воспользовавшись 
формальным разложением функции [ (Е — =.) в ряд Тейлора 
около точки & получаем соотношение между чи Ё: 


=[ ($) + „+ % (—1) ря | ы 5). (В.21) 


К =] 


Здесь под [*] (Е) подразумевается ^-я производная функции 
{ ([) пор, взятая в точке { = 6. В частности, при линейном ви- 
де имеем 


— (9, + 6,2) - (=, — 0:=.). (В.22) 


Из (В.21) непосредственно следует, что уравнение регрес- 
сии 1 по 5 (т.е. вид зависимости условного математического 
ожидания уср (х) = Е ("Е = х) от х) совпадает со структур- 
ным соотношением (В.20)'. Однако в схеме Д;, в отличие от 
схем В и С, остаточная случайная компонента в разложениях 


ы А 
(В.21) и (В.22) (т. е. соответственно в, ие НА? (ЕЁ) 


И &, — 06:=..) зависит от неизвестных параметров, участвую- 
щих в описании функции / (х) и оцениваемых на основании 
имеющихся у нас.выборочных данных. 

Эта специфичность природы зависимости, присущая схе- 
ме [Г);, сильно усложняет задачу построения хороших оценок 
для неизвестных параметров, входящих в соотношение (В.20). 
Дело в том, что достаточно хорошо разработанная теория по- 
строения таких оценок для схем В и С, в частности оценок мак- 
симального правдоподобия, оценок наименьших квадратов, 


\Чтобы убедиться в этом, надо при вычислении условного мате- 
матического ожидания от обеих частей соотношения (В.21) лишь учесть, 
что условие & = х равносильно условию &.; = 0, и, кроме того, ВОСПОЛЬ- 
зоваться естественным допущением: Еёу = Е (ЕЕ = = х) = 
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оказывается неприменимой к задачам схемы О;\. Так, напри- 
мер, оценки, используемые в регрессионном и корреляционном 
анализах, при обращении к задачам схемы О, теряют свои 
«хорошие» свойства — несмещенность, эффективность и даже 
состоятельность. Поэтому исследователь должен проявить 
особую аккуратность на самой первой стадии анализа — при 
постановке задачи и определении, к какому из известных ти- 
пов зависимостей следует отнести данный конкретный слу- 
чай. Соответственно при описании рекомендаций и приемов 
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Рис. В.7. Зависимость между пределом прочно- 
сти 05 (кг/мм?) и твердостью по Бринелю Нв 
(кг/мм?) для 75 образцов одной из плавок стали 


обработки выборочных данных с целью статистического ис- 
следования зависимостей приходится отделять регрессионный 
и корреляционный анализы (схемы В и С) от так называемо- 
го конфлюэнтного анализа (схемы О, ир.). 

Пример В.4. [90] На рис. В.7 и в табл. В.5 приведены 
результаты испытаний образцов (изготовленных из стали 
30Х СА) на твердость по Бринелю (Нв) и предел прочности 
(0%)'’ в Н/мм? (кг/мм?). 

Известно, что при существующих условиях производства 
и конструирования возможность взаимного перевода показате- 
лей прочности и твердости для конструкционных сталей (т. е. 
возможность взаимного сопоставления этих характеристик 
типа Нв == оь) зачастую является необходимой. Такой пере- 
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Таблица В.5 


Значения Н в ис, при разной термической обработке («(0) 
ее | оф | оФ | оф | эф | эф 
Нв бь Н в бу Н в бу Нв бъ Нр бу 
ПО ООНИЗООООООИНИИ ООООООАИЯ ООА ЗНИЙООИ О ОО  ИНО 
| 263 |88,5| 277 | 95,5 | 331 | 109,0| 363 120.0 383 | 126,0 
2 262 |90,0| 275 |95,5| 335 |111,5| 356 |117,0]| 383 | 127,0 
3 262 |90,5| 278 | 94,0] 331 |109,5| 350 |118,51 385 | 128,0 
4 262 | 87,5| 278 | 93,5| 331 1109,5| 352 |117,5| 390 | 129,0 
о 263 | 88,5| 277 | 97,0] 341 |114,0| 354 |119,0| 383 | 128,0 
6 260 |90,0| 290 |93,5| 331 |113,0| 352 |122,0| 388 | 132,0 
7 263 | 87,5| 277 194,5] 331 |110,5| 350 |116,0]| 383 | 128,0 
8 262 | 88,0| 275 | 92,5] 339 |107,5| 352 |117,0| 380 | 128,0 
9 265 | 90,5! 277 |93,5| 333 |114,5| 352 |118,0]| 380 | 128,0 
10 262 |88.5| 277 | 94,5| 331 |112.0| 350 |120,5| 385 | 130,0 
11 257 |87,5| 275 | 93,51 331 | 110,01 352 |118,5| 388 | 130,0 
12 265 | 90,0] 278 | 96,51 331 |115,0| 354 |118,0| 383 | 128,0 
13 265 |87,5| 278 | 92,5 | 337 |110,0| 350 |118,5| 380 | 129,0 
14 265 |89,5| 275 |92,5| 341 | 110,5] 352 |120,0| 383 | 129,0 
15 263 | 90,01 277 | 93,51 327 |109,5| 354 | 119,01 384 | 128,5 


Средние 
значения |262,5| 88,9 |277, 61| 94,0 |333 ‚41111,11 352,91 118,6 |383, 9| 128,6 


вод осуществляется с помощью специальных таблиц, общей 
основой которых является предположение, что между зна- 
чениями Нв, бь и Ньс (твердость по Роквеллу) существует 
чисто функциональная взаимно-однозначная зависимость (т. е. 
зависимость по схеме А в нашей классификации). Однако при 
практическом использовании переводных таблиц и формул 
было обнаружено, что фактические значения механических 
характеристик часто существенно отличаются от полученных 
переводом (даже в тех случаях, когда эти таблицы носят узко- 
специализированный характер, т. е. когда они составляются 
и используются лишь для какого-то одного типа полуфабри- 
ката и для одной и той же марки стали). 

Причина же подобной рассогласованности, неточности 
этих таблиц кроется на самом деле в том, что сама природа 
связи, существующей между различными механическими ха- 
рактеристиками матерналов, например между Нв и оь, но- 
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сит не функциональный (детерминированный), а стохастиче- 
ский характер. Так, например, на рис. В.7 видно, что при 
каждом фиксированном значении твердости соответствующие 
значения предела прочности а» подвержены некоторому не- 
контролируемому разбросу. 

Более детальный профессионально-статистический анализ 
[90] приводит нас в данном случае к следующей схеме. 

На значения Нви 0ь, так же как и на вид связи, сущест- 
вующей между ними, влияют следующие факторы: 

|1) химический состав плавки в; 

2) термическая обработка во; 

3) особенности исследуемого образца — локальный хим- 
состав, размеры зерна в зоне отпечатка, локальная термиче- 
ская обработка и т. п. ®;; 

4) погрешности измерения, связанные с приборами, уста- 
новкой образца и т. п. ®.. 

Если величину твердости по Бринелю (Нв) обозначим Ё, 
а соответствующую величину предела прочности (0ь) п, то 
можно воспользоваться выражением, где роль неслучайных 
(структурных) компонент х и у играют значения & ит, взятые 
для некоторой фиксированной плавки (%.) при некотором 
фиксированном режиме термической обработки (%.) и усред- 
ненные по всевозможным комбинациям факторов фз и в, (их 
«наблюденные значения», полученные усреднением по пятнад- 
цати однородным плавкам, изображены на рис. В.7). Что 
касается остаточных случайных компонент &, из,, то наличие 
каждой из них обусловлено в данном случае различиями в 
особенностях исследуемых образцов (фактор &з). При этом 
из наших определений следует, что Её, = Её, = 0. Кроме 
того, специфика данной конкретной задачи такова, что мы 
вправе принять в качестве исходных предпосылок для даль- 
нейшего исследования следующие допущения: 

а) между структурными компонентами у и х имеется ли- 
нейная зависимость вида В.15, причем коэффициенты 6, и 01, 
вообще говоря, зависят от химического состава (от фактора 1), 
т. е. могут меняться при переходе от одной плавки к другой; 

6) пары случайных величин (#х, в,) не зависят друг от 
друга, 

в) при любых фиксированных ®; и ®. (т. е. для любой фик- 
сированной плавки и при Любом фиксированном режиме ее 
термической обработки) существуют дисперсии ОЕ, и Озу; 

Г) «общая» остаточная случайная компонента в = в, — 
— 09:=,. подчинена нормальному распределению, параметры 
которого не зависят от характера термической обработки (Т. е. 
от фактора ®.); 
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д) диапазоны изменения структурных компонент х и у 
во много раз превосходят практические диапазоны остаточных 
случайных компонент &, ив, (см. рис. В.Т). 

Схема Ро: исследуемые переменные & = (Ё1, ..., &Р))’ 
ит = (1‘*), ..., 1“ ))’ случайны. Этот тип зависимости, неред- 
ко встречающийся в практике статистических исследований, 
является в некотором смысле обобщением схемы Д.. 

Итак, под схемой О, мы будем понимать такую схему за- 
висимости, в которой исследуемые случайные переменные 
Ё ит связаны соотношением (В.20), однако наблюдать мы их 
можем лишь с некоторыми случайными ошибками — соот- 
ветственно & И #,. Поэтому экспериментальными данными 
(х;, и; в действительности представлены выборочные значения 
случайных величин (=’, 1’), где 


= Е ак, Ш = - 21. (В.23) 


Обычно предполагают, что ошибки & И в, взаимно независи- 
мы, но зависят от ит и имеют нулевые математические ожи- 
дания (Е=; = Её, = 0) и конечные дисперсии (Бёё < со 
О, < о). 

При этом оказывается, что корреляционные и регрессион- 
ные характеристики схемы (Ё’, 1’) могут существенно отли- 
чаться от соответствующих характеристик исходной (неис- 
каженной) схемы (&, п). Так, например, ниже (см. п. 1.1.4) 
показано, что наложение случайных нормальных ошибок на 
исходную двумерную нормальную схему (ЕЁ, п) всегда умень- 
шает абсолютную величину коэффициента регрессии 0, в 
соотношении (В.15), а также ослабляет степень тесноты связи 
между Е ит (т. е. уменьшает абсолютную величину коэффициен- 
та корреляции г). 

Зависимости по схеме О), имеют место, в частности, в за- 
дачах исследования хода технологических процессов, когда 
взаимосвязанные флюктуирующие значения параметров про- 
цесса (Ё ип) могут быть измерены лишь с некоторыми случай- 
ными ошибками. 


В.6. Основные этапы статистического 
исследования зависимостей 


Весь процесс статистического исследования интересующих 
нас зависимостей удобно разложить на основные этапы. Эти 
этапы ниже описаны в соответствии с хронологией их реали- 
зации, однако некоторые из них находятся, в плане хроноло- 
гическом, в соотношении итерационного взаимодействия: ре- 
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зультаты реализации более поздних этапов мсгут содержать 
выводы о необходимости повторной «прогонки» (с учетом добы- 
той на предыдущих этапах новой информации) уже пройден- 
ных этапов (см., например, схему взаимодействия этапов 3,4, 
5 и б на рис. В.8). Излагаемая ниже схема приспособлена в 
основном для исследования зависимостей между количествен- 
ными переменными, однако с минимальными (и очевидными) 
модификациями она «работает» и при статистическом анализе 
связей между неколичественными и разнотипными перемен- 
НЫМИ. 


Рис. В.8. Схема хронологически-итерационных взаимосвязей ос- 
новных этапов статистического исследования зависимостей 


Этап 1 (постановочный). Прежде всего исследователь дол- 
жен определить: 

|) элементарную единицу статистического обследования, 
или элементарный объект исследования О (это может быть 
страна, город, отрасль, предприятие, семья, индивидуум, па- 
циент, технологический процесс, сложное техническое `изде- 
лие ит. д.); 

2) набор показателей (х(0, х(), ..., хФ); у», ..., ит), 
регистрируемых на каждом из статистически обследованных 
объектов, с подразделением их на «входные» (объясняющие) 
и «выходные» (результирующие) и, если это необходимо, с 
четким определением способа их измерения; таким образом, 
на этом этапе каждому элементарному объекту исследования 
ставится в соответствие перечень анализируемых показате- 
лей, т. е. 


0, (х(1), х(2),..., х(Р), и(0, (2), . ут), 


3) конечные прикладные цели исследования (см. $ В.2), 
тип исследуемых зависимостей (см. $ В.5) и желательную фор- 
му статистических выводов (а иногда и степень их точности); 

4) совокупность элементарных объектов исследования, на 
которую мы хотим распространить справедливость действия вы- 
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явленных в результате анализа статистических зависимостей 
(если, например, элементарная единица — семья, то анализи- 
руемой совокупностью могут быть семьи определенной соци- 
альной группы населения или семьи определенной республи- 
ки ит. д.); 

5) общее время и трудозатраты, отведенные на планируе- 
мое исследование и коррелированные с ними временная про- 
тяженность и объем необходимого статистического обследова- 
ния (какую часть анализируемой совокупности подвергнуть 
статистическому обследованию, производить статистическое 
обследование в статическом или динамическом режиме ит. д.). 
Заметим, что именно на этом этапе решаются задачи в) и 1, 
описанные в &$В.1[. 

В решении всех перечисленных вопросов первого этапа ис- 
следования главную роль, бесспорно, должен играть «заказ- 
чик», т. е. специалист той предметной области, для которой 
планируется проведение этого исследования. 

Этап 2 (информационный). Он состоит в проведении сбора 
необходимой статистической информации вида (В.1). При 
этом возможны две принципиально различные ситуации: 
1) исследователь имеет возможность заранее спланировать 
выборочное обследование части анализируемой совокупно- 
сти — выбрать способ отбора элементарных единиц стати- 
стического обследования (случайный, пропорциональный, рас- 
слоенный ит. д., см., например, [14, п. 5.4.3]), хотя бы по ча- 
сти объясняющих переменных Хх), х@®), ..., х{Р) назначить 
уровни их значений, при которых желательно произвести экс- 
перимент или наблюдения (условия активного эксперимента); 
2) исследователь получает исходные данные такими, какими 
они были собраны без его участия (условия пассивного экспе- 
римента). В любом случае «на выходе» этого этапа исследова- 
тель располагает исходными статистическими данными вида 
(В.Т), т. е. каждому (1-му) из статистически обследованных 
элементарных объектов исследования О; поставлен в соответст- 
вие конкретный вектор характеризующих его «входных» и 
«выходных» показателей: 


Ор —- (о, м, ..., ХФ); УГ’, у’, ут), р = 1,9,... п. 


(здесь и — общее число статистически обследованных элемен- 
тарных объектов, т. е. объем выборки). Таким образом, на 
этом этапе решается, в частности, задача 7 из $ В |. 
Говоря о проведении сбора статистических данных, мы 
не включаем сюда разработку методологии и системы показа- 
телей отображаемого объекта: эта работа предполагает про- 
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фессионально-предметное (экономическое, техническое, ме- 
дицинское и т. д.) изучение сущности решаемых задач стати- 
стического исследования зависимостей, поэтому относится к 
компетенции соответствующей предметной статистики (эко- 
номической ит. д.) и входит в задачи 1-го этапа исследований. 

Этап 3 (корреляционный анализ). Этот этап нацелен на 
решение задачи 2 (см. $ В.1), он позволяет ответить на во- 
просы, имеется ли вообще какая-либо связь между исследуе- 
мыми переменными, какова структура этих связей и как из- 
мерить их тесноту? Описанию методов, с помощью которых 
проводится такой статистический анализ, посвящены гл. 1—4. 
Поскольку перечисленные выше вопросы решаются с помощью 
вычисления и анализа соответствующих корреляционных 
характеристик, содержание этапа можно определить как про- 
ведение корреляционного анализа. Этап достаточно полно ос- 
нащён необходимым математическим аппаратом и программным 
обеспечением, поэтому может быть почти полностью автомати- 
зирован. 

Этап 4 (определение класса допустимых решений). Главной 
целью исследователя на этом этапе является определение об- 
щего вида, структуры искомой связи между У иХ, или, дру- 
гими словами, описание класса функций Е, в рамках которо- 
го он будет производить дальнейший поиск конкретного вида 
интересующей егс зависимости (см. задачи а) иЗв 5 В.1). 
Чаще всего это описание дается в форме некоторого параметри- 
ческого семейства функций } (Х; 9), поэтому и этап этот назы- 
вают также этапом параметризации модели. Так, определив 
в примере В.|, что поиск зависимости среднедушевых семей- 
ных сбережений уср от величины их среднедушевого дохода х 
мы будем производить в классе Е = {9, | 0,х} линейных 
функций, мы тем самым завершили четвертый этап исследо- 
вания (но конкретных числовых значений параметров 6, 
и 0, мы к этому моменту еще не знаем). 

Следует отметить, что, являясь узловым, в определенной 
мере решающим звеном во всем процессе статистического ис- 
иследования зависимостей, этот этап в то же время находит- 
ся в наименее выгодном положении по сравнению с другими 
этапами (с позиций наличия строгих и законченных математи- 
ческих рекомендаций по его реализации). Поэтому его реализа- 
ция требует совместной работы специалиста соответствующей 
предметной области (экономики, техники, медицины и т. д.) 
и математика-статистика, направленной на как можно более 
глубокое проникновение в «физический механизм» исследуе- 
мой связи. Подходам и методам проведения этого этапа ис- 
следований посвящена гл. 6 данного издания. 
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Существует подход к исследованию моделей регрессии, не 
требующий предварительного выбора параметрического се- 
мейства функций Е в рамках которого проводится дальней- 
ший анализ. Речь идет о так называемых непараметрических 
(или частично-параметрических) методах исследования ре- 
грессионных зависимостей, которым посвящена гл. 19. Одна- 
ко возникающие при их реализации проблемы (необходимость 
иметь очень большие объемы исходных статистических дан- 
ных, выбор сглаживающих функций — «окон» и параметров 
масштаба, выбор порядка сплайна, числа и положения «уз- 
лов» и т. п.) сопоставимы по своей сложности с проблемами, 
возникающими при реализации этапа 4. 

Следующие два этапа — 5-й и 6-й — связаны с проведе- 
нием определенного объема вычислений на ЭВМ и реализуют- 
ся, по существу, параллельно. 

Этап 5 (анализ мультиколлинеарности предсказывающих 
переменных и отбор наиболее информативных изних.) Под яв- 
лением мультиколлинеарности в регрессионном анализе по- 
нимается наличие тесных статистических связей между пред- 
сказывающими переменными Хх, х@), ..., х{Р), что, в част- 
ности, проявляется в близости к нулю (слабой обусловленно- 
сти) определителя их корреляционной матрицы, т. е. матрицы 
размера р Х р, составленной из парных коэффициентов кор- 
реляции г;; = г (х(0, х) (114, с. 155], а также гл. 1—3 дан- 
ного издания). Поскольку этот определитель входит в знаме- 
натель выражений для ряда важных характеристик анализи- 
руемых моделей (см. гл. 7—11), то мультиколлинеарность со- 
здает трудности и неудобства при статистическом исследова- 
нии зависимостей по меньшей мере в двух направлениях: 

а) в реализации на ЭВМ необходимых вычислительных 
процедур и, в частности, в крайней неустойчивости получае- 
мых при этом числовых характеристик анализируемых моде- 
лей (так, коэффициенты при объясняющих переменных в мо- 
делях типа (В.12), (В.13) и др. могут изменяться в несколько 
раз и даже менять знак при добавлении (или исключении} 
к массиву исходных статистических данных одного-двух объек- 
тов или одной-двух объясняющих переменных); 

0) в содержательной интерпретации параметров анализи- 
руемой модели, что играет решающую роль в ситуациях, когда 
конечной целью исследования является цель типа 3 («выявле- 
ние причинных связей» и т. д., см. $ В.2, соотношения (В.Э) 
и (В.9’)). 

Поэтому исследователь старается перейти к такой новой 
системе предсказывающих переменных (отобранных из числа 
исходных переменных х(), х@®, ..., х{?) или представленных 
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в виде некоторых их комбинаций), в которой эффект мульти- 
коллинеарности уже не имел бы места. Этап проводится в ос- 
новном силами математиков-статистиков с подключением (в 
самом его конце) специалистов соответствующей предметной 
области для выбора из нескольких предложенных варнантов 
набора объясняющих переменных, наиболее легко и естест- 
венно интерпретируемого. 

Рекомендации по проведению этого этапа даны в гл. 8. 

Этап 6 (вычисление оценок неизвестных параметров, вхо- 
дящих в исследуемое уравнение статистической связи). Итак, 
в результате проведения предыдущих этапов были решены, 
в частности, следующие задачи: 

а) определены результирующие и объясияющие перемен- 
ные и тип исследуемой зависимости (В, С или О, см. $ В.5); 

6) собрана и подготовлена к счету на ЭВМ исходная ста- 
тистическая информация вида (В.1); 

в) изучены характер и теснота статистических (корреля- 
ционных) связей между исследуемыми переменными; 

г) выбран класс допустимых решений Ё, т. е. класс (или 
параметрическое семейство) функций {(Х), в рамках которо- 
го будет подбираться наилучшая (в определенном смысле) 


аппроксимация Г (Х) искомой зависимости типа (В.14), (В.16) 
или (В.20). 
Теперь можно приступать к определению этой наилучшей 


аппроксимации { (Х), которая является решением оптимиза- 
ционной задачи вида 


Е(Х)=- агб ех4г А, (®, (В.24) 
ТСЕ 

где функционал А» ({) задает критерий качества аппроксима- 

ции результирующего показателя п (или У) с помощью функ- 

ции Г (Х) из класса Р. Выбор конкретного вида этого функцио- 

нала опирается на знание вероятностной природы остатков 

= в моделях типа (В.14), (В.16) и (В.21), причем он строится, 


как правило, в виде некоторой ‚функции от невязок =), &(#), 


ЕЕ, 2, ..., т), где в = у — ®(Х)) (один из 


распространенных вариантов такого функционала, а именно 
функционал метода наименьших квадратов, упоминается в 
примере В.1, см. соотношение (В.7°’)). Если в качестве класса 
Е задаются некоторым параметрическим семейством функций 
{{(Х; 9)}, то задача (В.24) сводится к подбору (статистиче- 


скому оцениванию) значений параметров 9, на которых до- 
стигается экстремум по 9 функционала А„ (Р(Х; 9)), а со- 
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ответствующие модели называют параметрическими. Эта часть 
исследования хорошо оснащена необходимым математическим 
аппаратом и соответствующим программным обеспечением 
(см. гл. 7— 10). 

Этап 7 (анализ точности полученных уравнений связи). 
Исследователь должен отдавать себе отчет в том, что найден- 


ная им в соответствии с (В.24) аппроксимация { (Х) неизвест- 
ной теоретической функции #. (Х) из соотношений типа (В.14), 
(В.16) или (В.21) (называемая эмпирической функцией регрес- 
сии, см. гл. 5) является лишь некоторым приближением ис- 
тинной зависимости #. (Х)*. При этом погрешность д в описа- 


— 
нии неизвестной истинной функции Г. (Х) с помощью Ё[ (Х) 
в общем случае состоит из двух составляющих: а) ошибки ап- 
проксимации бе и 6) ошибки выборки 6 (п). Величина пер- 
вой зависит от успеха в реализации этапа 4, т. е. от правиль- 
ности выбора класса допустимых решений Е. В частности, 
если класс Е выбран таким образом, что включает в себя и не- 
известную истинную функцию Г (т. е. 1. (Х) ЕЁ), то ошибка 
аппроксимации бе = 0. Но даже в этом случае остается слу- 
чайная составляющая (ошибка выборки) 6 (п), обусловлен- 
ная ограниченностью выборочных данных вида (В.1), на ос- 


новании которых мы подбираем функцию Ё(Х) (оцениваем 
ее параметры). Очевидно, уменьшить ошибку выборки мы мо- 
жем за счет увеличения объема п обрабатываемых выбороч- 
ных данных, так как при #. (Х) СЕ (т. е. при бе = 0) и пра- 
вильно выбранных методах статистического оценивания (т. е. 
при правильном выборе оптимизируемого функционала каче- 
ства модели А, ({)) ошибка выборки 6 (п) — 0 (по вероятно- 
сти) при п-— со (свойство состоятельности используемой 
процедуры статистического оценивания неизвестной функции 
г. (Х)). 

Соответственно на данном этапе приходится решать сле- 
дующие основные задачи анализа точности полученной ре- 
грессионной зависимости: 

|) в случае Е = {{ (МХ; 9)} иЕ. (Х) ЕР, т. е. когда класс 
допустимых решений задается параметрическим семейством 
функций и включает в себя неизвестную теоретическую функ- 
цию регрессии ТГ, (Х), при заданных доверительной вероят- 
ности Р и объеме выборки п указать такую предельную 


1В дальнейшем, говоря о вектор-функции #. (Х), вектор-погрешно- 
стн би векторе результирующих показателей У (Х), мы будем иметь в 
виду каждую из их компонент в отдельности. 
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(гарантированную) величину погрешности бр» (9,) для лю- 
бой компоненты неизвестного векторного параметра ©, что 


|0, — 0, | < 84, в (@,} 
с вероятностью, не меньшей, чем Р (здесь 0, — истинное 


значение ^-й компоненты неизвестного параметра ©, а 0, — 
его статистическая оценка); 

2) при заданных доверительной вероятности Р, объеме 
выборки п и значениях объясняющих переменных Х указать 


такую предельную (гарантированную) величину погрешности 
РН (У ср (Х))}, что 


[Ур (Х) — Р (Х) [< вр, в (Ур (Х)) 


с вероятностью, не меньшей, чем Р (здесь У, (Х) = Е (п|Х) — 
неизвестное условное среднее значение исследуемого резуль- 
тирующего показателя при значениях объясняющих пере- 


^ 
менных, равных Х, а! (Х) — построенная в соответствии с 
(В.24) эмпирическая функция регрессии); 

3) при заданных доверительной вероятности Р, объеме 
выборки л и значениях объясняющих переменных Х указать 


Такую предельную (гарантированную) величину погрешности 
ОР (У (Х)}, что 


У ()— #10) [< 8, „(У (Х)) 


с вероятностью, не меньшей, чем Р (здесь У (Х) — прогно- 
зируемое индивидуальное значение исследуемого резуль- 
тирующего показателя при значениях объясняющих перемен- 
ных, равных Х). 
Описанию методов анализа точности исследуемых регрес- 
снонных моделей посвящена гл. 1| настоящего издания. 
Заметим в заключение, что часть исследования, объеди- 


няющая этапы 4, 5, би 7, принято называть регрессионным 
анализом. 


ВЫВОДЫ 


|. Аппарат статистического исследования зависимостей — со- 
ставная часть многомерного статистического анализа — наце- 
лен на решение основной проблемы естествознания: как на 
основании частных результатов статистического наблюдения 
за анализируемыми событиями или показателями выявить и 


описать существующие между ними стохастические взаимо- 
Связи. 
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2. Анализируемые переменные величины по своей роли в ис- 
следовании подразделяются на результирующие (прогнози- 
руемые) У и объясняющие (предсказывающие, или предиктор- 
ные) Х. Среди компонент векторов У и Х могут быть и коли- 
чественные, и порядковые (ординальные), и классификацион- 
ные (номинальные). 

3. Центральным математическим объектом в процессе стати- 
стического исследования зависимостей является функция 
т (Х), называемая функцией регрессии У по Х и описываю- 
щая, как правило!, изменение условного среднего значения 
Уср (Х) результирующего показателя У (вычисленного при 
фиксированных на уровне Х значениях объясняющих пере- 
менных) в зависимости от изменения значений объясняющих 
переменных Х. 

4. Конечные прикладные цели статистического исследования 
зависимостей могут быть в основном трех типов: 1) установ- 
ление самого факта наличия (или отсутствия) статистически 
значимой связи между У и Х, исследование структуры этих 
связей; 2) прогноз (восстановление) неизвестных значений 
индивидуальных или средних значений результирующего 
показателя по заданным значениям соответствующих объяс- 
няющих (предикторных) переменных; 3) выявление причин- 
ных связей между объясняющими переменными Х и резуль- 
тирующими показателями У, частичное управление значения- 
ми У путем регулирования величин объясняющих перемен- 
ных АД. 

5. Разделы многомерного статистического анализа, состав- 
ляющие математический аппарат статистического исследова- 
ния зависимостей, формировались и развивались с учетом 
специфики анализируемых моделей, обусловленной в первую 
очередь природой исследуемых переменных. Так, изучение 
зависимостей между количественными переменными обслужи- 
вается регрессионным и корреляционным анализами и анали- 
зом временных рядов (гл. 1—12, 14), изучение зависимостей 
количественного результирующего показателя от неколичест- 
венных или разнотипных объясняющих переменных — диспер- 
сионным и ковариационным анализами, моделями типологи- 
ческой регрессии (гл. 13); для исследования зависимостей в 
условиях активного эксперимента служит теория оптималь- 
ного планирования экспериментов [2, 3, 136]; наконец, для 
исследования системы зависимостей, в которых одни и те же 


1В общей постановке задачи функция # (Х) может описывать пове- 
дение и других условных характеристик места группирования наблю- 
дений результирующего признака 1 (Х), например условной медианы. 
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переменные в разных уравнениях этой системы могут одно- 
временно выполнять и роль результирующих, и роль объяс- 
няющих, служит теория систем одновременных эконометри- 
ческих уравнений (гл. 14). Аппарат исследования зависимо- 
стей неколичественных или разнотипных результирующих 
показателей от количественных или разнотипных объясняю- 
щих переменных в книге не рассматривается. 

6. К основным типовым задачам практики, в которых исполь- 
зование аппарата статистического исследования зависимостей 
оказывается наиболее уместным и эффективным, следует от- 
нести задачи: 1) нормирования; 2) прогноза, планирования 
и днагностики; 3) оценки трудподостуиных (для непосредст- 
венного наблюдения и измерения) характеристик исследуемой 
системы; 4) оценки эффективностн функционирования (или 
качества) анализируемой системы; 5) регулирования пара- 
метров функционирования анализируемой системы. Все эти 
задачи являются основными составными частями центральной 
проблемы кибернетики — проблемы «управления, связи и пе- 
реработки информации» (см.: Математическая энциклопе- 
дия. Т. 2 — М.: Советская энциклопедия, 1979, с. 850). 

7. По своей природе исследуемые зависимости могут быть 
разделены на: |} детерминированные (тип А), когда исследу- 
ется функциональная зависимость между неслучайными пере- 
менными; 2) регрессионные (тип В), когда исследуется за- 
висимость случайного результирующего показателя от не- 
случайных объясняющих переменных — параметров систе- 
мы; 3) корреляционные (тип С), когда исследуется зависимость 
между случайными переменными, причем объясняющие пе- 
ременные могут быть измерены без искажений; 4) конфлюэнт- 
ные (типы О, и О.), когда исследуется функциональная за- 
висимость между случайными или неслучайными переменны- 
ми в ситуации, когда те и другие могут быть измерены только 
с некоторой случайной ошибкой. 

8. Весь процесс статистического исследования зависимостей 
может быть разбит на семь последовательно реализуемых ос- 
новных этапов, хронологический характер связей кото- 
рых дополняется связями итерационного взаимодействия 
(см. рис. В.8): этап ! (постановочный); этап 2 (информацион- 
ный); этап 3 (корреляционный анализ); этап 4 (определение 
класса допустимых решений); этап 5 (анализ мультиколлине- 
арности предсказывающих переменных и отбор наиболее ин- 
формативных из них); этап 6 (вычисление оценок неизвестных 
параметров, входящих в исследуемое уравнение статистиче- 
ской связи), этап 7 (анализ точности полученных уравнений 
связи). 
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Раздел Г. АНАЛИЗ СТРУКТУРЫ И ТЕСНОТЫ 
СТАТИСТИЧЕСКОЙ СВЯЗИ 
МЕЖДУ ИССЛЕДУЕМЫМИ 
ПЕРЕМЕННЫМИ 


(корреляционный анализ) 


Имеется ли вообще какая-либо связь между исследуемыми пе- 
ременными, какова струклура этих связей и как измерить их 
тесноту? — эти вопросы исследователь ставит перед собой уже 
на ранней стадии статистического исследования зависимостей 
(см. описание этапа 3 в & В.6). 

В частности, исследователь должен уметь: а) выбрать (с 
учетом специфики и природы анализируемых переменных) 
подходящий измеритель статистической связи (индекс или ко- 
эффициент корреляции, корреляционное отношение, какую- 
либо информационную характеристику связи, ранговый ко- 
эффициент корреляции ит. п.); 6) оценить (с помощью точеч- 
ной и интервальной оценок) его числовое значение по имею- 
щимся выборочным данным; в) проверить гипотезу о том, что 
полученное числовое значение анализируемого измерителя 
связи действительно свидетельствует о наличии статистиче- 
ской связи (или, как говорят, проверить исследуемую корре- 
ляционную характеристику на статистически значимое ее 
отличие от нуля); г) проанализировать структуру связей 
между компонентами исследуемого многомерного признака, 
снабдив проведенный анализ специальным плоским геометри- 
ческим представлением исследуемой структуры, в котором 
компоненты (переменные) изображаются точками, а связи ме- 
жду ними — соединяющими их отрезками (см. рис. 4.1 и 4.2). 
Описанию методов и моделей, привлекаемых для решения всех 
тих вопросов, и посвящен данный раздел. 


Глава 1. АНАЛИЗ ТЕСНОТЫ СВЯЗИ 
МЕЖДУ КОЛИЧЕСТВЕННЫМИ ПЕРЕМЕННЫМИ 


1.1. Анализ парных связей 
1.1.1. Понятие индекса корреляции. Прежде чем приступать 


к исследованию конкретного вида связей между рассматривае- 


мыми переменными, т. е. к оценке неизвестных параметров 9 
в соотношениях типа 


Е (и|Х) =/(Х; 9). (1.1) 
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следует выяснить, существует ли вообще эта связь, и, в слу- 
чае положительного ответа, попытаться установить степень 
тесноты этой связи. 

Во введении ($ В.5) описаны различные типы зависимо- 
стей, которые могут наблюдаться между исследуемыми пере- 
менными. Умение правильно классифицировать каждую кон- 
кретную многомерную систему наблюдений играет решающую 
роль при выборе соответствующих математико-статистических 
методов поиска изучаемой зависимости и при ее неформаль- 
ной, физически содержательной интерпретации. 

Однако в данном пункте в целях унификации подхода к ре- 
шению исследуемой в этой главе задачи мы временно прибег- 
нем к некоторому формальному обобщению рассмотренных 
ранее схем В, С и Ш. В частности, будет предложен подход, 
при котором во всех вышеупомянутых схемах зависимостей 
исследуемая независимая переменная интерпретируется как 
случайная переменная (параметр) &, от которой зависит за- 
кон условного распределения зависимой переменной 1. 

Итак, при каждом фиксированном значении & = Х рас- 
пределение зависимой переменной п (Х) задается плотно- 
стью! ф (У|Х), зависящей от Х. Соответственно будут зависеть 
от Х и математическое ожидание Ем (Х) = Е (ц!Х) = [(Х), 
и дисперсия О (Х) = В (1|Х) = о"1? (Х). Природа же ис- 
следуемой многомерной схемы, т. е. тип искомой зависимости, 
будет определяться спецификой частного закона распределе- 
ния наблюдаемой независимой переменной Ё. 

Очевидно, в схеме В (наблюдения производятся в фикси- 
рованных точках Ху, ..., Х» без случайных ошибок в регистра- 
ции независимой переменной) случайную величину & следует 
рассматривать как дискретную с областью мыслимых значе- 
ний В = {Х,,Х,,..., Х„} (не исключается возможность пов- 
торения одинаковых значений Ё в этом ряду) и с частным за- 
коном распределения 1 (Х), задаваемым вероятностями 
ф (Х,) = (Х.) =... =1(Х,) = Ил. 

В схеме Г), плотность ф (Х) частного распределения опре- 
деляется, помимо набора наблюдаемых абсцисс Ху, Х,, ..., 
Х„, законами распределения ошибок измерения вх. Если 
Е (Е < п) — число различных уровней ХТ, Х3,..., А& струк- 
турной компоненты Х, при которых снимались эксперимен- 


1Все наши рассуждения остаются в силе и для дискретных случай- 
ных величин Т (Х); при этом лишь надо заменить условные плотности 
Ф (У[Х) на соответствующие условные вероятности ф (У%|Х), где У® — 


возможные значения исследуемого результирующего показателя. 
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тальные данные (Х/, и}, (Х», и.), ..., (Хи, и), аф; (Х) — плот- 
ность распределения ошибки &хо, то 
Г. 


к 
$ (= Уф (ХЬ— 1, 

Ронни п 
где п; — число наблюдений, произведенных «на уровне» 
Х = Х:. 

В схемах С и), объясняющие наблюдаемые переменные 
соответственно & и &” по своей природе случайны, следователь- 
но, им также соответствует некоторая плотность частного 
распределения 1 (Х). 

Если рассмотреть случай единственного результирующего 
показателя п и мысленно спроектнровать все точки исследуе- 
мой многомерной системы на ось его возможных значений Ор, 
то получим выборку из одномерного закона с плотностью 
ф (и), характеризующего вероятностную природу безусловной 
случайной величины п. При такой интерпретации очевидно, 
что плотность частного (безусловного) распределения ф (и) 
получается как смесь соответствующих условных плотностей 


ф (и|Х), а именно: фФ (у) = | © (и|Х)ф (Х) 4Х (в схеме В 


ф (и) = >Ф(у| ХФ (Х}); в дальнеишем при усреднении по 
[=:1\ 


4 (Х) мы не будем специально оговаривать случай схемы В, 
подразумевая переход от интегрирования по Х к суммиро- 
ванию по Х;. Соответственно в нашем дальнейшем изложе- 
нии будут участвовать характеристики 


ти == Е = | 2(Х) $ (Х)4Х; 


В 


ол = Ви = | (у— т) $ (9) ди; 


Х 


о} = ОР) = | ((Х) — ЕР (©) (Х) 4Х; 


В 


02 (х) -= Е [07 1? (&)] == | о? й? (Х) ф (Х) АХ. 


В 


Рассмотрим, например, частный случай схемы С, когда 
вектор исследуемых показателей 


()- (Е, ..., ЕР); п, ..., 1)" (1.2) 
т 
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— (р | т)-мерная нормальная случайная величина [14, с. 173}, 


и пусть М; = ЕЁ, М, = Е — соответственно векторы 
средних значений объясняющих переменных & = (0%, 
&(Р))’ и результирующих показателей м = (10), 


.... 1(”))’, а У, Хи И Хлт — Ковариационные матрицы 
[14, с. 138] соответственно векторов Ё, & ит, 1". Тогда можно 
показать (см., например, [20, с. 45|), что условное распределе- 


ние вектора результирующих показателей \ = (10), 
.... 1)’ при условии, что значения объясняющих перемен- 
ных зафиксированы на уровне Х == (х(®, ..., х{Р))’ (т. е. при 


условии Ё = Х), также нормально с условным средним зна- 
чением 


Е (и[8 =Х) = Ми -- Хз ХЕ (Х—М:) (1.3) 
и ковариационной матрицей 
Е {("— М, ) (И— Ми)" [Е =} = Хи — Хи ХЕ т. (1.4) 


Из (1.3) и (1.4), в частности, следует: 

а) функция 1(Х) =Е (ц|Е = Х) регрессии и по Ё при 
совместном нормальном законе распределения исследуемых 
показателей линейна по ХЛ; 

6) ковариационная матрица условного распределения век- 
тора результирующих показателей п (Х) = (п|Ё = Х) не за- 
висит от Х; 

в) если рассматривается парная регрессионная зависимость, 
т. е. зависимость единственного результирующего показате- 
ля 1 от единственной объясняющей переменной Ё в схеме С, 
причем распределение случайной величины (ЕЁ, 1) подчиняет- 
ся двумерному нормальному закону, то условное распределе- 
ние случайной величины 1 (х) = (ц|Е = х) тоже нормально 
с условным средним значением (функцией регрессии) 


(Ех г (х— т) (1.3') 
ы- 


и с дисперсией 
Ри =) =03 (1—7) (1.4) 


\Ковариационные матрицы Х зе, Ха’, ди Х„п получаются из 

общей ковариационной матрицы Х вектора (=) ее разбиением на блоки 
Х,. >. 

по следующей схеме: Х = 58-8" |. Соответственно размерности ма- 


15—11 
триц Ха, ХЕ, п И тт будут: рхр,рхт тхритхт. 
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(здесь мё и И — средние значения соответственно объяс- 
няющей переменной Ё и результирующего показателя \, оЁ 
и 0# — их дисперсии, а г — коэффициент корреляции между 
ними, см., например, [14, гл. 5}]). 

Будем рассматривать в дальнейшем (если специально не 
оговорено противное) случай единственного результнрующего 
показателя, т. е. случай т = 1. 

Итак, величина ол = Оч характеризует полную вариа- 
цию (дисперсию) исследуемого результирующего показателя \, 
в то время как о? = 0/(&) определяет дисперсию функции 
регрессии И., = [ (Хх), би(х) — усредненную (по различным 
значениям Ё) величину условной дисперсии О (|8 = х), 
т. е. среднюю величину дисперсии неконтролируемой оста- 
точной случайной компоненты = (см. соотношения (В.14), 
(В.16), (В.21)). 

Воспользовавшись соотношением (2в.3.6} из [117, с. 94], 
получим следующее полезное соотношение, связывающее три 
вышеупомянутые меры случайного разброса: 


бл = 0Р | 09а (4). (1.5) 


Это означает, что полная вариация исследуемой зависимой 
переменной складывается из контролируемой нами вариации 
функции регрессии и из не поддающейся нашему контролю 
вариации остаточной случайной компоненты. Очевидно, связь 
между тп и & в соотношениях (В.14), (В.16), (В.21) ит. п. бу- 
дет тем теснее, тем определеннее, чем менее «размазанными» 
окажутся участвующие в них остаточные неконтролируемые 


случайные компоненты ё (Х), & ив, -- » [(—в,.)“/] Ам (©). 
№—=1 

Можно, в частности, задаться вопросом: какая доля степени 
изменчивости интересующего нас зависимого признака (т. е. 
какая доля дисперсии оу) обусловливается изменчивостью 
описывающей его функции независимой переменной } () (т. е. 
ее дисперсией о;})? Так мы приходим к понятию наиболее об- 
щей характеристики степени тесноты связи между ци & — 
индекса корреляции Т.к, где 


02 0? 
И ПИ м (<) 
}.Е — 02 = ——. (1.6) 
т бт 
Из (1.5) и (1.6) непосредственно следует, что 0 < 1%. < 1. 
При этом минимальное значение индекса корреляции (/щ.ё = 
= 0) соответствует полному отсутствию варьирования } (Е) 
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с изменением & (о; = 0), а это означает полное отсутствие ка- 
кого-либо влияния & на \, т. е., как говорят, отсутствие кор- 


реляционной связи между результирующим показателем \ 
И объясняющими переменными 


В то же время максимальное значение индекса корреляции 
(1„.- =1) соответствует полному отсутствию варьирования 
остаточной случайной компоненты (9.(.) = 0). А поскольку 
среднее значение остаточной случайной компоненты равно 
нулю, то она практически исчезает из разложений (В.14), 
(В.16), (В.2Т). Это означает наличие чисто функциональной 
связи между ци Ё& и, следовательно, возможность детермини- 
рованного восстановления значений 1 по соответствующим зна- 
чениям объясняющих переменных &. 


Таким образом, введенный с помощью (1.6) индекс корре- 
ляции /„.- Между результи-рующим показателем \ и объяс- 
няющими переменными & формально определен для любой дву- 
мерной системы наблюдений. Квадрат его величины (Г.Е) 
показывает, какая доля дисперсии исследуемого результирую- 
щего показателя ц определяется (детерминируется) изменчи- 
востью (дисперсией) соответствующей функции регрессии { от 
аргумента &, поэтому часто называется коэффициентом де- 
терминации. Соответственно оставшаяся доля дисперсии \ 
(т.е. | — /1.:) объясняется воздействием неконтролируемой 
случайной остаточной компоненты («помехи»), а следователь- 
но, определяет ту верхнюю границу точности, с которой мы 
сможем восстанавливать (предсказывать) значения \ по за- 
данным значениям объясняющих переменных &. 

Наилучшие методы построения статистической оценки 


— 


Г... для неизвестного теоретического значения индекса кор- 
реляции /„.:, так же как и различные варианты его интер- 
претации, зависят от ряда исходных предпосылок каждой кой- 
кретной двумерной схемы (общий вид функции | (Е), вид рас- 
пределения многомерной случайной величины (ЕЁ, п) ит. п.). 
Описание их поэтому дается ниже отдельно для каждого из 
некоторых специальных частных случаев. 


1.1.2. Коэффициент корреляции как измеритель степени тес- 
ноты связи в двумерных нормальных схемах. Пусть исследует- 
ся парная зависимость между случайными переменными 1 
и Е типа С (или между 1’и типа О), см. 5 В.5. Предполо- 
жим, что имеющиеся в нашем распоряжении результаты на- 
блюдения (ху, и1), (хо, И.), ..., (хи, Ип) представляют собой вы- 
борку из двумерной нормальной генеральной совокупности 
(см. [14, с. 171]) В этом случае введенный ранее (1.6) индекс 
корреляции просто выражается через коэффициент корреля- 
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ции г, участвующий в записи уравнения соответствующей дву- 
мерной нормальной плотности. Воспользовавшись соотноше- 
нием (1.6) с учетом (1.4’), получаем 


Г.Е ==Г. (1.7) 


С помощью непосредственных вычислений, опирающихся 
на формулу для плотности двумерного нормального закона, 
можно показать, что 


Е [(& —Е&) (п— Ё1)] __ соу (Е, 1) 
УБЕ. от 50 


где ковариация соу (Ё, 1) — второй центральный смешанный 
момент двумерной случайной величины (Ё, 1), а би оц — 
`среднеквадратические (безусловные) отклонения соответст- 
венно компонент Ё и 1. Величина г, определенная соотноше- 
нием (1.8), называется коэффициентом корреляции! и характе- 
ризует (в силу (1.7)) степень тесноты связи между случайны- 
ми компонентами & ит. При этом лишь в данном частном слу- 
чае характеристика степени тесноты связи симметрична от- 
носительно переменных Ё им (Т.е. гёз = Гё) и имеет под- 
дающийся содержательной интерпретации знак «плюс» или 
«минус». Положительность коэффициента корреляции г о03- 
начает одинаковый характер тенденции взаимосвязанного 
изменения случайных компонент Ё ит: с увеличением & мы 
наблюдаем тенденцию увеличения соответствующих индиви- 
дуальных значений 1 и, следовательно, увеличивается услов- 
ное математическое ожидание Е (ц|& = х). Отрицательное 
значение г говорит о противоположной тенденции взаимосвя- 
занного изменения компонент & ит (с увеличением 6 умень- 
шается Е | =). 


Г = 


(1.8) 


Выборочное значение г коэффициента корреляции (т. е. 


статистическая оценка г неизвестного значения г) подсчиты- 
вается по исходным статистическим данным (ху, И1), (хо, И), 


.... (Хп, Уп} ПО формуле 


У (— (и 
[==] 


а (1.8) 
ро (хх) У (и: 


{—] =] 


1В ситуациях, когда наряду с г рассматриваются частные (см. 
п. 1.2.2) и множественные (см. п. 1.3.2) коэффициенты корреляции, его 
называют парным коэффициентом корреляции. 
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п 
— | — | 
где х= „ х хи у: — Ми. 
{ — 


Определенные соотношениями (1.8) и (1.8”) соответствен- 
но теоретический и выборочный коэффициенты корреляции 
могут быть формально вычислены для любой двумерной систе- 
мы наблюдений; они являются измерителями степени тесно- 
ты линейной статистической связи между анализируемыми при- 
знаками. Однако только в случае совместной нормальной рас- 
пределенности исследуемых случайных величин & ит коэффи- 
циент корреляции г имеет четкий смысл как характеристика 
степени тесноты связи между ними. В частности, в этом слу- 
чае соотношение || = | подтверждает чисто функциональ- 
ную линейную зависимость между исследуемыми величинами, 
а уравнение г = 0 свидетельствует об их полной взаимной не- 
зависимости. Кроме того, коэффициент корреляции вместе со 
средними и дисперсиями случайных величин Ё и \ составляет 
те пять параметров, которые дают исчерпывающие сведения о 
стохастической зависимости исследуемых величин, так как 
однозначно определяют их двумерный закон распределения 
(см. [14, с. 171, формула (6.9)]). 

Во всех же остальных случаях (распределения Е ит от- 
клоняются от нормального, одна из исследуемых величин не 
является случайной и т. п.) коэффициент корреляции можно 
использовать лишь в качестве одной из возможных характе- 
ристик степени тесноты связи. При этом, несмотря на то, что 
в общем случае пока не предложено характеристики линей- 
ной связи, которая обладала бы очевидными преимущества- 
ми по сравнению с г, его интерпретация часто оказывается 
весьма ненадежной. Если же априори допускается возможность 
отклонения от линейного вида зависимости, то можно постро- 
ить примеры, когда, несмотря на г == 0, исследуемые пере- 
менные оказываются связанными чисто функциональным соот- 
ношением (следовательно, /* = |). Поэтому о величинах, для 
которых г == 0; обычно говорят, что они некоррелированы, 
и только после дополнительного статистического и профессио- 
нального анализа (исследование степени отклонения распре- 
деления рассматриваемых величин от нормального и т. п.) 
можно сказать, следует ли отсюда их независимость. И, на- 
оборот, из высокой степени коррелированности величин при 
сильных отклонениях распределения & и т от нормального 
еще не следует их столь же тесная зависимость. 

Приведем пример. На рис. 1.1, а представлены данные, 
характеризующие численность населения Ё и соответствую- 
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щее число телевизионных точек \ в девяти городах США— 
Денвере, Сан-Антонио, Канзас-Сити, Сиэтле, Цинциннати, 
Буффало, Нью-Орлеане, Милуоки, Хьюстоне". 

По формуле (1.8’) получаем, что коэффициент корреляции 


—> 

г = 0,403; это при п = 9 свидетельствует о весьма малой сте- 
пени коррелированности Ё ит. Если же к этим данным при- 
совокупить соответствующие сведения о Нью-Йорке (хи, = 802; 
10 = 345, см. рис. 1.1, 6), то объем выборки увеличивается 


7, ВЕСЛТЫС. р 
р беетые ап 
* о у РЯ 5/1 л - 
30 р: 7. 207 ВЮ ИОХК. 
ии =. * 7100 
РИ ЗОО ПО ОНИ Ш И 
90 950 70&, 86. ПЬЕС. 200 40 500 800 & дестые. 


Рис. 1.1. Корреляционное поле, характеризующее связь между 
численностью населения & и числом установленных телевизи- 
онных точек \ в США в 1953 г.: 

а) в девяти городах; 6) в десяти городах 


на единицу (и’ = 10), а соответственно пересчитанный коэф- 


фициент корреляции г = 0,995. Дело здесь в том, что послед- 
нее (десятое) наблюдение является «аномальным», резко вы- 
деляющимся, так что всю совокупность наблюдений мы уже 
не можем считать выборкой из одной и той же нормальной ге- 
неральной совокупности (в чем читатель сможет без труда 
убедиться, воспользовавшись одним из приемов, описанных 
в [14, $11.5]. 

И наконец, даже если удалось установить тесную зависи- 
мость между двумя исследуемыми величинами, отсюда еще н?- 
посредственно не следует их причинная взаимообусловленность. 
Например, при анализе большого числа наблюдений, относя- 
щихся к отливке труб на сталелитейных заводах, была уста- 
новлена положительная корреляционная связь между време- 
нем плавки и процентом забракованных труб [10]. Дать какое- 
либо причинное истолкование этой стохастической связи бы- 
ло невозможно, а поэтому рекомендации ограничить продол- 
жительность плавки для снижения процента забракованных 
труб выглядели малосостоятельными. Действительно, спустя 
несколько лет обнаружили, что большая продолжительность 


1См.: Миллс Ф. Статистические методы. — М.: Госстатиздат, 
1958. — 799 с. 
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плавки всегда была связана с использованием сырья специ- 
ального состава. Этот вид сырья приводил одновременно к 
длительному времени плавки и большому проценту брака, 
хотя оба эти фактора взаимно независимы. 

Таким образом, высокий коэффициент корреляции между 
продолжительностью плавки и процентом забракованных 
труб полностью обусловливался влиянием третьего, не учтен- 
ного при исследовании фактора — характеристики качества 
сырья. Если же этот фактор был бы с самого начала учтен, то 
никакой значимой корреляционной связи между временем 
плавки и процентом забракованных труб мы бы не обнаружи- 
ли. За счет подобных эффектов (одновременного влияння не- 
учтенных факторов на исследуемые переменные) может ис 
кажаться и смысл истинной связи между переменными, т. е., 
например, подсчеты приводят к положительному значению 
парного коэффициента корреляции, в то время как истинная 
связь между ними имеет отрицательный смысл. Такую кор- 
реляцию между двумя переменными часто называют «ложной». 
Более детально подобные ситуации — обнаружение и исклю- 
чение «общих причинных факторов», расчет «очищенных», 
или частных, коэффициентов корреляции и т. п. — исследуют 
методами многомерного корреляционного анализа (см. $ 1.2}. 
Такого рода недоразумения с причинным толкованием ста- 
тистических связей наиболее вероятны в ситуациях, когда ис- 
ходными статистическими данными являются показатели ра- 
боты действующего предприятия. Их обычно удается свести 
к минимуму при получении данных из искусственно постав- 
ленного эксперимента. 

Выборочное значение коэффициента корреляции в приме- 
ре В.3 между процентом забракованного стекла и соответст- 


.—^ 
вующей величиной вакуума в печи для его отжига г = — 0,655. 
Оно, по-видимому, свидетельствует о наличии определенной 
зависимости между исследуемыми переменными. Однако ут- 
верждать, что повышение вакуума в печи причинно обусловлн- 
вает понижение процента брака, преждевременно: предвари- 
тельно следует провести дополнительный профессионально- 


1При подсчетах, связанных с примером В.З, здесь и в дальнейшем 
пользуемся данными, соответствующими рис. В.6. При этом диапазон 
независимой переменной (т.е. диапазон значений вакуума в печи) раз- 
биваем на шесть равных интервалов шириной 0,5: п = 43; & = 6; т, = 
= 3; т, = 4; т. = 8; т = 13; ть = 11; тз = 4. Далее воспользу- 
емся и разбиением диапазона зависимой переменной 1 (процента за- 
бракованного стекла): от 1,5 через 0,5 до 4,5%, так что и число интер- 
валов группирования по вертикальной оси (#,) в данном случае также 
равно шести. 
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статистический анализ, в частности выяснить, нет ли в тех- 
нологических условиях данного эксперимента неучтенного 
фактора, изменения которого одновременно приводили бы к 
повышению вакуума и понижению брака производства. 
Замечания о необходимости известной осторожности при 
толковании корреляционной связи никоим образом не обесце- 
нивают желательность проверки значимости Любого кажуще- 
гося соотношения. При этом следует использовать характери- 
—^ 


стики степени тесноты связи: коэффициента корреляции Г и 
корреляционного отношения р (см. ниже). Но не всегда зна- 
ние этих характеристик оказывается достаточным для получе- 
ния информации о степени тесноты физической связи между 
исследуемыми переменными и тем более об их причинной вза- 
имообусловленности. 


1.1.3. Распределение выборочного коэффициента корреляции 
и проверка гипотезы о статистической значимости линейной 
связи. Какую величину выборочного коэффициента корреля- 
ции следует считать достаточной для статистически обосно- 
ванного вывода о наличии корреляционной связи между ис- 
следуемыми переменными? Ведь надежность статистических 


характеристик, в том числе и г, ослабевает с уменьшением 
объема соответствующей выборки, а потому принципиально 
возможны случаи, когда отклонение от нуля полученной вели- 


чины выборочного коэффициента корреляции г оказывается 
статистически незначимым, т. е. целиком обусловленным не- 
избежным случайным колебанием выборки, на основании ко- 
торой он вычислен. Ответить на этот вопрос помогает знание 


закона вероятностного распределения г. В случае совместной 
нормальной распределенности исследуемых переменных и при 
— 


достаточно большом объеме выборки п распределение г мож- 
но считать приближенно нормальным со средним, равным 


р 1—7? 2 
своему теоретическому значению г и дисперсиеи 9? — ира 


[10, с. 104]. Однако следует учитывать, что при малых значе- 
ниях п иг, близких к - 1, это приближение оказывается очень 
грубым. Кроме того, при малых п следует принимать во вни- 


мание, что величина г является смещенной оценкой своего 


теоретического значения г, в частности Ех = г — [и (1 — г?)]/2п. 


Относительно хорошая степень приближения нормально- 
го распределения при малых значениях |г| позволяет полу- 
чить простой критерий проверки гипотезы г = 0, т. е. гипо- 
тезы об отсутствии корреляционной связи между исследуе- 
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мыми переменными. Используется тот факт, что величина 


гИп—2 


7) (п — 2) = у при условии г = О распределена по 
| — 72 


закону Стьюдента с пл — 2 степенями свободы (см., например, 
[117, с. 181. Поэтому если окажется, что 


< В, (пП— 2) (1.9) 


(здесь К 5 (П — 2) —5%-ная точка распределения Стьюден- 
тасл — 2 степенями свободы), то гипотеза об отсутствии кор- 
реляционной связи принимается. Используем этот критерий 
для исследования значимости корреляционной связи в приме- 


— 


ре В.3: К” = 7,3; Въ (41) = 1,68; так что гипотеза об от- 
сутствии корреляционной связи между процентом забрако- 
ванного стекла и вакуумом в печи для его отжига должна 
быть отвергнута. 

Доверительные интервалы для истинного значения коэф- 
фициента корреляции г можно построить из нормальной рас- 


пределенности г. Концы интервала [г,, г›| можно вычислять 
по приближенной формуле 


ЖЕ Еиа о (1.10) 


2п 2 Мп 


Здесь иа/›», в соответствии с ранее введенными обозначе- 


— 
ом г | 


А 
НИЯМИ, —1005 %-ная точка стандартного (0, |)-нормального 


распределения, так что истинное значение коэффициента кор- 
реляции г с доверительной вероятностью | — а принадлежит 
интервалу [и,, г.|. Однако использование формулы (1.10) со- 
пряжено со следующими оговорками: истинное значение ко- 
эффициента корреляции не должно быть близким к -+ 1; об- 
щее число наблюдений п должно быть достаточно велико; ве- 
г(1— г 
личина гв поправке к «смещению» г (т.е. в выражении ИИ) 57 ) ) 
и в дисперсии 0; заменена ее приближенным (выборочным) 
— 


значением г. Избавиться от этих ограничений позволяет сле- 
дующее преобразование, предложенное Р. Фишером (см., на- 
пример, [117, с. 383]: 


| 4х 
аш. 
2 | —г 


(1.11) 
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Он показал, что величина 2, определенная соотношением 
(1.11), уже при небольших п с хорошим приближением следует 


нормальном закон со средним Е? ^ 1 ше” -- г 
р у у р 1-28-11) 


© | 
и дисперсией г -- —. Это позволяет построить довери- 


тельный интервал [21, 25| для Е2 по формуле 


| рых Га 
о > Г 
21,2 = те ИН 


—^ 


| И—3 2 (п— 1) | 


[92 2— 


= агс А 


Ия—3 2(и—1)° 


откуда следует, что истинное значение коэффициента корреля- 
ции г с той же доверительной вероятностью [| — & заключено 
в пределах 


{1 2, <г< И 2д.. (1.12) 


Здесь {1 2 — это тангенс гиперболический от аргумента 
2 (определяется с помощью соотношения {1 2 = (е2 — е-2)/ 
/(е? -|- е-?)). Соответственно функция, определяющая величи- 
ну 2 с помощью соотношения (1.11), это есть функция, обрат- 
ная к тангенсу гиперболическому; так что часто вместо 


[г 


пишут 2 == агсёВ г (или 2 = 1-7). Нахожде- 
[Г 


ние 2 по данному значению г и, наоборот, определение г по 
заданной величине 2 производится с помощью табл. [. 7, в 
которой в крайних столбцах (левом и правом) приведены зна- 
чения |’|, а между ними — соответствующие значения |2|= 


== агсфИ |"| (знаки у аргумента и функции совпадают, так что 
если, например, г отрицателен, то и соответствующее значе- 


ние 2 = агфП г также отрицательно). 
Так, задавшись 95%-ной доверительной вероятностью в 
примере В.3, находим 


|. 96 —0,6 
г, = агсё 8 (— 0,655) -——5® — 29.68 1,07; 
40 2.42 
_ |, 96 —0, 655 
2, = агсЁ в (— 0,655) 5 ^^ = 0,47. 
“ 40 2,42 
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С помощью табл. П.7 находим: 1 2, = —0,79; {12, == 
= —0,44, так что с вероятностью 0,95 имеем — 0) 79 <г< 
< —0,44. 

Использование 2 — преобразованной величины г -— ока- 
зывастся более предпочтительным и при проверке значимости 
корреляционной связи, когда число наблюдений я мало. 

При построении доверительных интервалов для козффи- 
циента корреляции, так же как и при проверке статистической 
значимости корреляционной связи, можно пользоваться спе- 
циальными таблицами и графиками, в частности номограммой, 
‚ изображенной на рис. 1.2. 

Так, для построения доверительного интервала с помощью 
приведенных на рис. 1.2 номограмм следует отложить значе- 


—^ 


ние выборочного коэффициента корреляции г на горизонталь- 
ной оси и провести через эту точку вертикальную прямую. 
Ординаты иг, (7, < г.) пересечения этой вертикальной 
прямой с двумя кривыми, над которыми надписан объем ис- 
пользуемой выборки, и являются граничными точками иско- 
мого доверительного интервала, т. е. г, < г < ь.,. Рис. 1.2, а 
дает решение поставленной задачи с доверительной вероят- 
ностью Р = 0,95, а рис. 1.2, б — с доверительной вероят- 
ностью Р = 0,99 

Критерий однородности двух или нескольких выборочных 
коэффициентов корреляции. Пусть по выборкам объемов лу 
и л, из каких-то двух нормальных генеральных совокупно- 
стей получены выборочные значения коэффициентов корре- 


ляции И и 2). Можно ли признать различие в значениях ео 


и (2 статистически значимым или же это различие обуслов- 
лено случайными колебаниями выборок, следовательно, по- 


лученные величины 7) и ^^) ие противоречат гипотезе о том, 
что две рассмотренные генеральные совокупности имеют один 
и тот же теоретический коэффициент корреляции? 

Для статистической проверки этих предположений исполь- 
зуется факт приближенной (0, [)-нормальной распределенно- 
сти статистики (справедливый лишь в предположении истин- 


ности гипотезы об однородности г(® и г?) 


у = (20 -— 262) о 
п —3 п.—3 


где 2) (1 = |, 2) подсчитываются по формуле (1. 11) соот- 
ветственно отдельно по первой (1 == Г) и по второй (1 == 2) 
выборкам. 
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Г ТТГГГЕЕЕЕРРЕЕЕЕЕ РА. 

', РЕГ РЕЕРЕЕЕЕРЕРР 

С РИШИЯЕЕСРЕРИР № 
НО РРРРЕРРАРРНАЙ ИИ | 
с, РАЗЕРЕНАЙ ИДИ, 
ИРАКА АИ 
ММ ГА 77 РЕАЛИИ 
и 27727 ЗИ 
КИ ИГ ЖОРА ИИ, 
ИРИ ЗИРОЛАИЙНИ 
ВНИИ РР АЛАН 
ИИ ДЖД, 
ИИ ХАЙ ДАРТА 
О 
ВИ А и 
с #27 ИЕ? 
я УИ 


0 -,9 -,8-7-,6-,5-4 


; -,9 -,2 -,1 0 +,1 +,2 +,3 +,4 +, 5 +, 
дрочногр коэффициента корреляции Г 


= 

га > 

ъ 

я ъ 

> 

хх 

5 

ху © 
+ 
3 
+ 
< 
+ 
=>] 
4- 
^— 
— 


Рис. 1.2. Номограмма для построения доверительных интервалов для 
выборок с доверительной вероятностью: а} Р=0,95; 6) Р=0,99 


В частности, если оказалось, что || >> Ио, то различие 
р] 


— — 
между г) и г?) признается статистически значимым (с уров- 
нем значимости ©). 


— —^ —^ 

Пусть теперь (0, г®, ..., г\*) — Е коэффициентов корре- 
ляции, полученных по выборкам объемов па, Пь, ..., Пь ИЗ Ё 
каких-то нормальных генеральных совокупностей. Можно 
ли считать, что, несмотря на видимые различия в значениях 


выборочных коэффициентов корреляции и“), /®, ..., 7%, 
значение теоретического коэффициента корреляции Г остается 
одним и тем же во всех обследованных генеральных совокуп- 
ностях? Если допустить справедливость утвердительного от- 
вета на поставленный вопрос, то статистика 
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выдорочноее козрфициента корреляции Г 


истинного значения коэффициента корреляции при различных объемах 


^^ 


к 
= У (и 3) 20 (1.13) 


“> 
— 
з 
| 
[9% 
= 


должна приближенно подчиняться 7?*-распределению с А -— | 
степенью свободы (здесь 2%), как и прежде, подсчитываются 
отдельно по каждой отдельной выборке по формуле (1.11)). 
Поэтому если окажется, что подсчитанное по формуле (1.13} 


значение 7? > ха (К — 1), где х2 (Е — 1) — величина 100& %- 
ной точки %?-распределения с К — | степенью свободы (см. 
табл. 11.4), то гипотеза об однородности выборочных коэффи- 


7] 


циентов корреляции (1), г“?), ..., г) отвергается (с уровнем 
значимости 0). 

В табл. 1.1 приводится пример вычислений по схеме опи- 
санной процедуры (заимствован из [117, с. 386]. 

Значение 7? = 4,4995 — ВЕНА 
мере оказалось существенно ‘меньше 5%-ной точки х?-распре- 
деления с пятью степенями свободы (0.05 (5) = 11,07), так 
что следует признать непротиворечивость полученных выбо- 
рочных значений коэффициентов корреляции (0,318; 0,106; 
0,253; 0,340; 0,116 и 0,112) с гипотезой об их однородности, 


— 1,0009 в данном при- 


Таблица 1.1 


Объем вы- | Выборочный 
Номер борки ми- | коэффициент 


выборки | нус три корреляции =(0 (п—3) 20 (п —3) 20" 
(г) (п; —3) (0 
] 7 0,318 0,3294 2,3058 0,7595 
2 | 0,106 0,1064 1,1704 0,1245 
3 13 0,253 0,2586 3,3618 0,8694 
4 17 0,340 0,3541 6,0197 2,1316 
5 22 0,116 0,1164 2,5608 0,2981 
6 25 0.112 0,1125 2,8125 0,3164 
Сумма | 95 | 18,2310 | 4,4995 


1.1.4. Влияние ошибок измерения на величину коэффициента 
корреляции. Пусть мы хотим оценить степень тесноты корре- 
ляционной связи между компонентами двумерной нормаль- 
ной случайной величины (&, 1), однако наблюдать мы их 
можем лищь с некоторыми случайными «ошибками измерения» 
соответственно # и , (см. схему зависимости О. во введе- 
нии). Поэтому экспериментальные данные (х;, ц;), [= 1, 
2, ..., п, — это практически выборочные значения искажен- 
ной двумерной случайной величины (Ё’, п’), где & = Ё + 
-- & ИП =\ + =. Если предположить, что &ё и ®1 взаимно 
независимы, не зависят от & и \, нормальны, имеют нулевые 
математические ожидания и конечные дисперсии соответствен- 
но 01 и 02, то двумерная случайная величина (Ё’, п’) будет 
также подчиняться двумерному нормальному распределению. 
Однако, как легко подсчитать, параметры этого распределе- 
ния и, в частности коэффициент корреляции г’ между 
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и |’ будут соответственно отличаться от параметров исход- 
ной двумерной схемы (ЕЁ, п). Действительно, в соответствии с 
основными правилами вычисления первых и вторых момен- 
тов [14, гл. 5] получаем: 

ат’ = Е” = Е\ = ам; (1.14) 
0%, = 0 - 01; 


2 2 2. 
Од. = оп - 02; 


Из (1.14), в частности, следует, что коэффициент корреля- 

ции признаков, на которые наложены ошибки измерения, 
всегда меньше по абсолютной величине, чем коэффициент 
корреляции исходных признаков. Другими словами, ошибки 
измерения всегда ослабляют исследуемую корреляционную 
связь между исходными переменными, и это искажение тем 
меньше, чем меньше отношения дисперсий ошибок к диспер- 
сиям самих исходных переменных. Формула (1.14) позволяет 
скорректировать искаженное значение коэффициента корреля- 
ции: для этого нужно либо знать «разрешающие» характери- 
стики измерительных приборов (и, следовательно, величины 
дисперсий ошибок 01 и 02), либо провести дополнительное 
исследование по их выявлению. 
1.1.5. Измерение степени тесноты связи при нелинейной за- 
висимости. При отклонениях исследуемой зависимости от 
линейного вида, как уже отмечалось, коэффициент корреля- 
ции г теряет свой смысл как характеристика степени тесноты 
связи. В этих случаях исследователь должен воспользоваться 
имеющимися у него двумерными выборочными данными 
(хи, 91), (Хо, Ы2), ..., (Хп, Уп) с целью построения оценок для 
определенной выше, в некотором смысле универсальной те- 
оретической характеристики степени тесноты связи — индек- 
са корреляции /ш., (см. формулу (1.6)). Способ построения 
таких оценок выбирается в зависимости от природы имеющих- 
ся у нас выборочных данных и от характера некоторых до- 
полнительных допущений. 

Корреляционное отношение. Наиболее привлекательной 
в этом смысле является ситуация, в которой характер выбо- 
рочных данных (их количество, «плотность» расположения на 
плоскости) допускает их группировку по оси объясняющей 
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переменной и возможность подсчета так называемых «част- 
ных» средних ординат и; внутри каждого (1-го) интервала груп- 
пирования. Пусть такое группирование данных произведено. 
При этом, как обычно, Е — число интервалов группирования 
по оси абсцисс; т; = 1,2, ..., Е) — число выборочных то- 


чек, попавших в {7-й интервал группирования; у: = С у/т; 


— среднее значение ординат точек, попавших в {- й интервал 

группирования. Тогда, как легко понять, выборочным анало- 

гом (оценкой) введенной ранее дисперсии о} будет величина 
|: 


=— У т, (и:— и), (1.15) 


== 


2 

5% (=) 
| 

где общее среднее у=(», т;у; ГП. 


=] 


Соответственно получаем оценку для [п.ё в виде 
ид ` 
Ощ.Е = Е (1.16) 


где выборочная дисперсия 5$, индивидуальных результатов 


наблюдения у;; около общего среднего у вычисляется пс фор- 
муле 


Величину р,.. принято называть корреляционным от- 
ношением зависимой переменной \ по независимой перемен- 
ной &. Его вычисление не обременено никакими дополнитель- 
ными допущениями относительно общего вида регрессионной 
зависимости (1.1). Однако, в отличие от коэффициента корре- 
ляции, корреляционное отношение несимметрично по отно- 
шению к исследуемым переменным, т. е., вообще говоря, 
бт-Е >= 0.1. Кроме того, корреляционное отношение, по 
определению, является величиной неотрицательной', так как 
под ним подразумевается результат извлечения арифметиче- 
ского значения корня квадратного из 02. 

В остальном свойства корреляционного отношения во мно- 
гом похожи на свойства коэффициента корреляции. Из (1.5) 

1Иногда, в частности при монотонном характере регрес сионной 
функции (1.1), корреляционному отношению приписывают знак, сов- 
падающий со знаком первой производной этой функции. 
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и (1.6), в частности, немедленно следует, что подобно коэффи- 
циенту корреляции корреляционное отношение не может быть 
больше единицы. 

Из |6| = 1 следует наличие однозначной функциональной 
связи между 1] и Е, и, наоборот, однозначная функциональная 
связь между п и & свидетельствует о том, что |р| = 1. Далее, 
отсутствие корреляционной связи между т и & означает, что 


условные средние у; сохраняют постоянное значение, равное 
общему среднему у, а потому р„д = 0. Наоборот, если 
0п/= = 0, то у; = у, и, следовательно, частные средние у; 


не зависят от х, т. е. соотвегствующая -линия регрессии па- 
раллельна горизонтальной оси. 


Отметим, что между ри И реж нет какой-либо простой 
зависимости. Некоррелированность 1 с Ё (т. е. равенство ну- 
лю величины р,/ё) не влечет за собой непосредственно некор- 
релированности Ё ст. Возможны ситуации, в которых один 
из этих показателей принимает нулевое значение, в то время 
как другой равен единице. Допустим, например, что = 
и Е принимает значения: —1, би -|! с вероятностями 1/3 
каждое. В этом случае ри = 1, ёж = 0 (в силу симмет- 
рии параболы относительно оси 4 и симметричности распре- 
деления ). 


Можно показать, что корреляционное отношение р не мо- 
жет быть меньше абсолютной величины коэффициента корре- 
ляции г, характеризующего зависимость между теми же пе- 
ременными. В случае линейной зависимости эти две характери- 
стики связи совпадают. Это позволяет использовать величину 


— — 


разности рт/ё — г? в качестве меры отклонения регрессион- 
ной зависимости от линейного вида (см. п. 6.3.3). 

И наконец, все замечания относительно смысловой интер- 
претации коэффициента корреляции г (в частности, о логиче- 
ском соотношении понятий «корреляционная зависимость, 
связь между переменными, их причинная взаимообусловлен- 
ность») остаются в силе и для корреляционного отношения. 


Проверка гипотезы 0б отсутствии корреляционной связи. 
Какую величину корреляционного отношения можно при- 
знать статистически значимо отличающейся от нуля, т. е. 
достаточной для статистически обоснованного вывода о нали- 
чии корреляционной связи между исследуемыми переменными? 
Ведь так же, как и в случае прямолинейного типа зависимости, 
принципиально возможны ситуации, когда отклонение от ну- 

—^ 


ЛЯ полученной величины корреляционного отношения р яв- 
ляется статистически незначимым, т. е. обусловленным ЛИШЬ 
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неизбежными случайными колебаниями выборки. Для по- 
строения соответствующего критерия воспользуемся фактом 


приближенной ГР (К — |, п — Ю-распределенности случайной 
величины 


Е би. п ю 
(д 
1 — Р.Е 


справедливым в предположении, что /;.ё = 0 (или, что то 
же, рл.= = 0) и что условные распределения зависимой пе- 
ременной \ (х) при любом фиксированном х описываются нор- 
мальным законом с постоянной дисперсией о? (см., например, 
[65, с. 401). 

Поэтому, если окажется, что 


бу. — 
И 92 (1, ПА), 
Г 


то гипотеза об отсутствии корреляционной связи между ц и 

& отвергается с уровнем значимости & (здесь, как и ранее, 

& (К — |, п — ®) — 100а %-ная точка ЁР-распределения с чн- 

слом степеней свободы числителя К — | и знаменателя п — К, 

находится из табл. П.5). При выполнении обратного нера- 
-— 


венства значение корреляционного отношения ри.= призна- 
ется статистически незначимым, т. е. делается вывод об от- 
сутствии корреляционной связи между т и Ё. 

Доверительные интервалы для истинного значения корреля- 
ционного отношения р).- можно построить, опираясь на тот 
факт, что статистика 


=, тра. —№ 
Кро (1.17) 
о 


приближенно подчиняется так называемому «нецентральному 
Е-распределению», который оказывается справедливым в пред- 
положении (} (х), о*)-нормальности случайных величин т (х) 
и при любом отличном от нуля истинном значении корреля- 
ционного отношения руд. = р. 
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Действительно, как известно (см., например, [14, гл. 6]), 
случайная величина 


подчиняется нецентральному Р-распределению с числами сте- 
пеней свободы числителя и знаменателя соответственно у, и 
у, параметром нецентральности а, если С;, 6., ..., бу, \, 
у2, ..., », Суть взаимно независимые нормальные случайные 
величины, обладающие одинаковыми дисперсиями, причем 
Е), = Еф, = ... == Еду, = 0, а 


(Е)? -- (Е)? --... (Е) = а. (1.18) 


Намечая доказательство сформулированного выше утвер- 

ыы 
ждения о статистике РЁ (0) определенной формулой (1.17), 
заметим, что в нашем случае в роли случайных величин С., 
грубо говоря, выступают значения Ут; (и; — Ро а в роли 


случайных величин 7; = 7;; — значения и;; — у;. Отметим 
также следующие соотношения, в справедливости (в некото- 
рых случаях приближенной) которых нетрудно убедиться: 


а 


т; (у; — у) 
1 __ в— | ч.5 | 
ь т —” ) 


[1 1 ра 
—- У У. (уу—и:)” п— р у — 2: 
ЕС; = У т ({ (4?) — |) 


(здесь / (х) — неизвестная нам функция регрессии \ по &; 
х} — средняя точка 1-го интервала группирования по оси асб- 


цисс, а } — среднее значение функции регрессии): 


РЗ; == 0* = В; 


Еу;; = Е (1;,— -у:) 
Ор;; А 0* = О\. 


г 
> 
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И наконец, параметр нецентральности в соответствии с 
(118) и с учетом (1.6) в нашем случае имеет вид 


] : 0 $ \2 по; 2 
- У т; (1 (Л — ре = Пбп-Е. 


\е) 


Ц = 


=] 


Далее воспользуемся тем (см., например, [30, с. 99]), что 
У Е (\,, у; а) при *. 28 
достаточно хорошо аппроксимируется обычным (центральным) 
Е-распределением с числом степеней свободы числителя, при- 
__ (м. а} 
—_ (м. 2а)’ 
боды знаменателя, равным %.. Поэтому в нашем случае рас- 
пределение статистики 


распределение статистики 


близительно равным \%1 и числом степеней сво- 


(п—^) бт. Е—1 


ии И ИР 


приближенно описывается Ё-распределением с числом степе- 
ней свободы числителя 


(фол 2. " 
У} = ети (1.19) 
Е—[-1-2п бт. 


и числом степеней свободы знаменателя №, = п — К. 

Таким образом, получаем следующее правило построения 
приближенных доверительных интервалов для истинного 
значения корреляционного отношения рп.е: 

|1) пользуясь формулой( 1.16), вычисляем точечную оценку 


бт.= для истинного значения корреляционного отношения 
бп. 

2) по формуле (1.19) подсчитываем вспомогательное число 
степеней свободы у1 числителя для аппроксимирующего цент- 
рального Р-распределения; 

3) задавшись уровнем доверия Р = | — 2а, с помощью 
табл. [1.5 находим 100 (1 — @а)%-ную точку и1-а (\1, п — А) 
и 100 %-ную точку иа (У, п —- №) Е-распределения с числом 
степеней свободы числителя \1 и знаменателя п — К; 

4) утверждаем, что приблизительно с вероятностью Р = 
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= 1—2 истинное значение корреляционного отношения 
бз.- удовлетворяет неравенствам 


(ПЩ— ) рп.-ё Е (П—®) рп. #1 
п-т" п-т п 


(1.20) 


Проиллюстрируем работоспособность описанного метода 
на следующем примере. Пусть в результате обработки 132 экс- 
периментальных точек (х;, у;) (= 1,2, ..., 132) получено вы- 


борочное значение корреляционного отношения о == 0,60. 
При этом мы воспользовались разбиением диапазона изменения 
независимой переменной на А = 12 равных интервалов груп- 
пирования. Соответственно получаем в качестве вспомога- 
тельного числа степеней свободы числителя величину %1 = 
__ (12—1--132.0,36 2 
—_ 12—1-2.132-0,36 
сла). Задавшись доверительной вероятностью Р == 0,90, 
из табл. П.5 находим (полагая я = 0,05): 


0? 05 (27,120) = 1,58; 
1 ] 


С 27,120) = щи А 0,58. 
90,95 ) 08 ов (120,27) 1.13 


— 27 (частное округляем до целого чи- 


И наконец, в соответствии с формулой (1.20) находим ле- 


вый (021) и правый (а). концы доверительного интервала 
для истинного значения рт.е: 


—^ 120.0.36 11 
а И 0,24; 
Ри 132.0,64.1,58 132 
— 0.0.36 
ох ——120:0.30 Ч 087. 


132.0,64.0,58 132 


Таким образом, при точечной оценке ру., = 0,6 истин- 
ное значение заключено в пределах от У 0,24 до У 0,87 с ве- 
роятностью, приблизительно равной 0,9, т. е. 0,49 < р... < 
< 0,93. 

В этом примере хорошо видна существенная несимметрич- 
ность концов интервальной оценки относительно точечной 
оценки (правый конец интервальной оценки отстоит от то- 
чечной оценки на 0,33, в то время как левый конец — всего 
лишь на 0,11). 
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Для значений точечных оценок 0*, близких к нулю или 
к единице, левый или правый конец интервальной оценки мо- 
жет терять содержательный смысл, выходя за пределы! отрез- 
ка [0, 1]. В этом случае в качестве левого или правого конца 
интервальной оценки следует брать соответствующее гранич- 
ное значение — нуль или единицу (причина подобных нежела- 
тельных ситуаций — в аппроксимационном подходе к реше- 
нию данной задачи). Однако описанный прием все-таки сле- 
дует признать гораздо более точным, чем применяемый иног- 
да метод построения интервальных оценок для РЕ, необос- 
нованно использующий приблизительную (р, '—Р )-нормаль- 

— п 
ность статистики рм.е. 

Оценка индекса корреляции по несгруппированным дан- 
ным. Если характер имеющихся у нас выборочных данных 
(хи), 1=1,2,..., п, таков, что не допускает их сколько- 
нибудь удовлетворительной группировки по оси объясняющей 
переменной (недостаточно велико п, точки (х;, и;) слишком 
‹разрежены» на плоскости), то построению оценок для /\. 
мы вынуждены предпослать принятие той или иной гипотезы 
0б общем виде регрессионной функции (1.1). О статистических 
методах проверки подобного рода гипотез см. ниже, гл. 6. 
Пусть, например, в результате анализа, описанного в гл. 6, 
нами принята гипотеза о том, что интересующая нас регрес- 
сионная зависимость у. = [(х) имеет вид алгебраического 
полинома второго порядка, т. е. Ур = Е (п|Е = х) = 0, + 
-- 9,х -- 9х2. Тогда для оценки введенной ранее характери- 
стики степени тесноты связи между исследуемыми перемен- 
ными 1 и 6 — коэффициента детерминации /1.ё (или индекса 
корреляции /„..) исследователю приходится вначале вычис- 

— = 


= 
лить оценки 6%, 0, и 0, для неизвестных параметров — ко- 
эффициентов 6%, 0, и 0,, входящих в уравнение регрессии 
(см. гл. 7). И лишь после этого, ориентируясь на правую 
часть формулы (1.6), мы получим в качестве оценки для /1.е 
величину: 


так как нетрудно показать [65], что величина 


п — —^ — 
У (у:— 0, —0, х, — 6, х?)? 
[= 1 
является в данном случае выборочным аналогом (оценкой) 
теоретической дисперсии о\1(.)›, Участвующей в (1.6). 
Пусть в общем случае нами принята гипотеза об общем ви- 
де интересующей нас зависимости уср = Е (1|& = х) =[(х; 
0,, 6,, ..., 0,), где / — некоторая известная функция аргумен- 
та х, зависящая от (р--1)-го неизвестного параметра 6., 
9,, ..., 0,. 
Тогда, пользуясь рекомендациями гл. 7, строим оценки 
0., 9, . 0, неизвестных параметров, входящих в описание 


функции регрессии, после чего вычисляем оценку [1.= коЭф- 
фициента детерминации /1п.= по формуле 


| 
—3 


2 
би (х) = - 


и (ии—! (х: "о, 0. у 8,})° 
(1.21) 


Замечание. Можно показать, что, как и следовало 
ожидать, в частном случае [ (х; 6%, 6,, ..., 0,) = 0, - 0.х 
оценка, определяемая соотношением (1.21), совпадает с квад- 


^^ 
ратом выборочного коэффициента корреляции (7?). 

Следует отметить, что вычисление и использование выбо- 
рочных характеристик степени тесноты связи типа (1.21) за- 
труднено по меньшей мере тремя обстоятельствами: 1) необ- 
ходимостью предварительного выбора общего вида регресси- 
онной зависимости; 2) необходимостью предварительного вы- 
числения оценок для входящих в уравнение регрессии неиз- 
вестных параметров; 3) отсутствием строгих рекомендаций 
по их проверке на статистическую значимость и по построе- 
нию соответствующих интервальных оценок. 


1.2. Анализ частных («очищенных») связей 


1.2.1. Трудности в интерпретации парных корреляционных 
характеристик, связанные с опосредованным одновременным 
влиянием других переменных. Выше (см. п. 1.1.2) приведен 
пример ситуации, в которой специалисты (технологи) некото- 
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рое время не могли дать содержательного объяснения стати- 
стически выявленной положительной парной корреляционной 
связи между исследуемыми показателями: процентом брака 
в трубном производстве и продолжительностью плавки стали, 
из которой эти трубы делались. Вытекающая отсюда практи- 
ческая рекомендация — снижать, по возможности, продолжи- 
тельность плавки с целью понижения процента брака — вы- 
глядела явно несостоятельной. И лишь позже выяснилось, что 
объяснение следует искать в одновременном опосредованном 
влиянии на эти два показателя третьего фактора— типа ис- 
пользуемого сырья: использование сырья определенного типа 
приводило к тенденции одновременного увеличения обоих ис- 
следуемых показателей — и длительности плавки, и процента 
брака. Аналогичные трудности в интерпретации получаемых 
в результате статистического анализа парных корреляционных 
характеристик испытывают часто специалисты и в других 
областях деятельности (см. примеры в п. 1.2.4), причем роль 
опосредованно влияющего на оба изучаемых показателя фак- 
тора может играть и целое множество неучтенных переменных. 
Это обстоятельство делает необходимым введение таких 
измерителей статистической связи, которые были бы «очи- 
щены» от опосредованного влияния других переменных, да- 
вали бы оценку степени тесноты интересующей нас связи меж- 
ду переменными у и х(7 (или хи х()) при условии, что зна- 
чения остальных переменных зафиксированы на некотором 
постоянном уровне. В этом случае говорят о статистическом 
анализе частных (или «очищенных») связей и используют со- 
ответственно частные («очищенные») коэффициенты корреля- 
ции или другие корреляционные характеристики. 
1.2.2. Частные коэффициенты корреляции и их выборочные 
значения. Поставим в соответствие каждой из ранее введенных 
парных характеристик статистической связи между перемен- 
ными хи х@ (1 у =0,1,..., р; х©®) == у) частную (‹очищен- 
ную») характеристику, определяемую по той же формуле, но 
только для условного распределения [14, гл. 5] ф (х®, ХИ | 
[ХР = х). Здесь ф — это функция плотности вероятности 
(если х®), хФ непрерывны) или полигон вероятностей (если 
х@й, хФ) дискретны); ХЛ — множество переменных, до- 
полняющих пару (х(, хФ) до полного набора рассматривае- 
мых (наблюдаемых) переменных Х = (х(®, хО), ..., х®)), 
ах — (р — 1)-мерный вектор, определяющий заданные уров- 
ни, на которых фиксируются значения «мешающих» перемен- 
ных ХЛ. Есть два взаимосвязанных обстоятельства, кото- 
рые препятствуют широкому практическому использованию 
частных характеристик статистической связи в общем случае: 
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частные характеристики статистической связи, вообще го- 
воря, зависят от заданных уровней х мешающих переменных 
(как их выбирать в каждом конкретном случае?); 

для подсчета выборочных значений частных характери- 
стик статистической связи необходимо иметь выборку спе- 
циальной структуры, обеспечивающей наличие хотя бы не- 
скольких наблюдений при каждом из заданного ряда фикси- 
рованных значений х мешающих переменных. 

Можно, однако, показать (см., например, [20, 65]), что 
если исследуемые случайные переменные (х“°), х(), ..., х‹)›) 
подчиняются многомерному нормальному закону (см. [14, 
п, 6.1.5]), то указанные неудобства автоматически исчезают, 
так как в этом случае частные коэффициенты корреляции не 
зависят от уровней мешающих переменных х, определяющих 
условие в соответствующем условном распределении. В ча- 
стности, имеет место следующая формула (при условии невы- 
рожденности (р -- 1)-мерного нормального закона): 

—В;; 


Г.Х (1. Л — ] у (1.22) 


где г;; х’) — частный коэффициент корреляции между пе- 
ременными х( и х(? при фиксированных значениях всех ос- 


тальных переменных Х(’), а В»; — алгебраическое допол- 
нение для элемента г», в определителе корреляционной ма- 
трицы К анализируемых признаков х(°) == цу, х(1), х(®),..., х(Ф), 
т. е. в определителе 

Г Гот Гол +: Гор 
ев -: 10 | Г1> ... Гар 

Гро Гра Гра... {| 


Формула (1.22), примененная к трехмерному признаку 
(6) == и, х@), х)), при Е = 0, у= Ги Х(ГР = Хх) дает: 


Гот — Го2* Го 
Г (2) — Го! (2) == }$М—__—, (1 .23) 
О1.х У-вла-ть 


Последовательно присоединяя к мешающим переменным 
все новые признаки из рассматриваемого набора, можно по- 
лучить рекуррентные соотношения для подсчета частных ко- 
эффициентов корреляции Го1(»... 41) порядка Л (т. е. при ис- 
ключении опосредованного влияния А мешающих переменных) 
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по частным коэффициентам корреляции порядка А —1(Е = 
=1, 2, ....р— |: 


Гот (2... № Год! (2. АА НЕО... № 


Го! (2,3, ..., ЕЕ) == а 
И —пенье... 9) (По... 0) 


(1.23’) 


Выборочные (эмпирические) значения частных коэффициен- 
тов корреляции вычисляются по тем же формулам (1.22)— 
(1.23’) с заменой теоретических значений парных коэффициен- 

— 


тов корреляции г;; их выборочными аналогами г;; (см. форму- 
лу (1.8’)). 

Если исследователь имеет дело лишь с тремя-четырьмя 
переменными (р == 2, 3), то удобно пользоваться рекуррент- 
ными соотношениями (1.23’). При больших размерностях ана- 
лизируемого многомерного признака удобнее опираться на 
формулу (1.22), использующую расчет соответствующих оп- 
ределителей. 

Вернемся к общему (негауссовскому) случаю. Практика 
многомерного статистического анализа показала, что частные 
коэффициенты корреляции, определенные соотношениями 
(1.22)—(1.23°), являются, как правило, удовлетворительными 
измерителями очищенной линейной связи между хи хФ 
при фиксированных значениях остальных переменных ХЛ 
и в случае, когда распределение анализируемых показателей 
(х(0), х), ..., х{Р)) отличается от нормального. Определив 
с помощью формулы (1.22) частный коэффициент корреляции 
в случае любого исходного распределения признаков (х“), 
хи), ..., х{Р)), включим его в общий математический инстру- 
ментарий корреляционного анализа линейных моделей. При 
этом их можно интерпретировать как показатели тесноты очи- 
щенной связи, усредненные по всевозможным значениям фик- 
сируемых на определенных уровнях «мешающих» переменных. 
1.2.3. Статистические свойства выборочных частных коэффи- 
циентов корреляции (проверка на статистическую значимость 
их отличия от нуля, доверительные интервалы). При иссле- 
довании статистических свойств выборочного частного коэф- 
фициента корреляции порядка К (т. е. при исключении опо- 
средованного влияния К мешающих переменных) следует вос- 
пользоваться тем (см., например, [20, теорема 4.3.41), что он 
распределен точно так же, как и обычный (парный) выбороч- 
ный коэффициент корреляции между теми же переменными с 
единственной поправкой: объем выборки надо уменьшить на 
Е единиц, т. е. полагать его равным п — К, а не п. Поэтому 
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при иооверке статистически значимого отличия от нуля выбо- 
рочного частного коэффициента корреляции и при построе- 
нии для него доверительных интервалов следует пользоваться 
рекомендациями п. 1.1.3 для парного коэффициента корреля- 
ции с заменой я наи — А. 

1.2.4. Примеры. Рассмотрим некоторые конкретные чис- 
ловые примеры, демонстрирующие возможный характер ис- 
кажающего опосредованного влияния «третьих факторов» 
на корреляцию между двумя анализируемыми переменными. 

Пример 1.1. Шо итогам года 37 однородных пред- 
прнятий легкой промышленности были зарегистрированы сле- 
дующие показатели их работы: х(9) == и — среднемесячная ха- 
рактеристика качества ткани (в баллах); х() — среднемесяч- 
ное количество профилактических наладок автоматической 
линии; х() — среднемесячное число обрывов нити. 

По матрице исходных данных (хФ), хр, х)); гу? были 
подсчитаны (с ПОМОЩЬЮ (1.8’)) выборочные парные коэффи- 


циенты корреляции т, (1,1 = 0,1, 2): ги. == 0,105; го» = 0,024; 
› = 0,996. 

Проверка «на статистическую значимость», проведенная 
в соответствии с рекомендациями п. 1.1.3, свидетельствует 
об отсутствии статистически значимой парной корреляционной 
связи между качеством ткани, с одной стороны, и числом про- 
филактических наладок и обрывов нити — с другой, что не 
согласуется с профессиональными представлениями техноло- 
га. 


Однако расчет частных коэффициентов корреляции по 


формуле (1.23) дает значения гГ%у1(2) = 0,907; Ра = —0,906, 
которые вполне соответствуют нашим представлениям о есте- 
ственном характере связей между изучаемыми показателями. 
Построение доверительных интервалов для истинных зна- 
чений /о1(2) И Го2(а) В соответствии с рекомендациями п. 1.1.3 
(в частности, с использованием 2-преобразования Фишера, 
поскольку наш случай характеризуется ‘значениями коэффи- 
циентов корреляции, близкими по абсолютной величине к еди- 
нице) дает: 12, <г< 12, с доверительной вероятностью 
Р = | — ©, где 11 2 — тангенс гиперболический угла 2, 
— — 
Г --г Но 9/2 Г 


аа 
2 фт У 2и-и 


а и. — это д-квантиль стандартного нормального распределе- 
ния (см. табл. П.З). 
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В нашем примере л = 37, а = 0,05. Подставляя пооче- 


редно в эту формулу значения гу1(2) = 0,907 и Га) 


] | 
5 П › 


| — 


— 
Г 


= —0,906 и пользуясь табл. П.7 значений агс = 


получаем: 
0,821 < Го! (2) < 0,950; 
— 0,950 < гу? (1) < — 0,819. 


Пример 1.2. С целью исследования влияния погод- 
ных условий на урожайность кормовых трав Хукер (Лоигп. 
Коу. З{а{. $0с., 1907, чм. 65, р. 1} рассмотрел данные Мини- 
стерства земледелия Англии за 20 лет, характеризующие 
урожайность х“б) (в ц/акр), весеннее количество осадков х() 
(в дюймах) и накопленную за весну сумму «активных» (т. е. 
выше --5,5°С) температур х“?) (в градусах по Фаренгейту) од- 
нородной в метеорологическом отношении области Англии, 
включающей в себя группу восточных графств. По выборке 
(0, х), х(2?); гб были подсчитаны основные статистиче- 


ские характеристики изучаемой трехмерной случайной вели- 
ЧИНЫ: 


Е х(0) — 28,02; Ех) — 4,91]: Еж?) = 594,0; 
0х(0) = 19,54: Эхе) == 1,21: Ох(2) = 7995. 
ру — 0,80; р — — 0,40; т = — 0,56. 


Действительно ли высокая температура в период созрева- 
ния трав отрицательно влияет на их урожайность (ведь 


—> 

Го› = —0,40) или здесь сказывается опосредованное влияние 

«мешающего» фактора — количества осадков х(? 
Вычисление частных коэффициентов корреляции по рекур- 

рентной формуле (1.23) дает: 


Рот (2) =- 0,759; Рози) = 0,097; —Ризцо) = — 0,436. 


Как видим, если исключить одновременное влияние коли- 
чества осадков х() на урожайность (с ростом х( она повыша- 
ется) и на сумму активных температур (с ростом х) она пони- 
жается), то мы уже не обнаружим отрицательной корреляции 

—^ 


между температурой и урожайностью (Г) = 0,097, в то 
время как Г.› = — 0,40). 
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Построение доверительных интервалов ДЛЯ Го1(2) И Гоо(а) 
(с уровнем доверия Р = 0,95) с использованием 2-преобразо- 
вания Фишера дает в данном случае: 


0,448 < го! (2) < 0, 890; — 0,419 < го2 (1) < 0,525. 


Последнее неравенство свидетельствует о том, что у нас 
нет оснований считать положительную очищенную корреляци- 
онную связь между урожайностью и температурой (7%2(1) = 
— 0,097) статистически значимой. 


1.3. Анализ множественных связей 


1.3.1. Степень тесноты множественной статистической связи 
и среднеквадратическая ошибка прогноза (аппроксимации) 
одной переменной по совокупности других. Интуитивно и из 
смысла рассмотренных выше характеристик степени тесноты 
статистической связи ясно, что чем теснее эта связь, тем больше 
информации содержит одна переменная относительно другой, 
тем точнее можно восстановить (спрогнозировать, аппрокси- 
мировать) неизвестное значение одной переменной по заданной 
величине другой. 

При решении практических задач чаще других рассматри- 
вается схема, в которой поведение какого-то одного (результи- 
рующего) признака п стараются «объяснить» поведением сово- 
купности других (предикторных) переменных & = (Е, Е(?), 

‚ 2’). Если зафиксировать «значение» & = Х, то из всех 
возможных способов определения прогнозного (аппроксими- 


рующего) значения у (Х) для неизвестного значения \ (Х) наи- 
лучшим (в смысле минимума среднего квадрата ошибки прог- 
ноза), как оказалось, является условное среднее значение 
анализируемого результирующего показателя \, т. е. величи- 
на / (Х) = Е (| = Х), где усреднение производится при ус- 
ловии, что объясняющие переменные зафиксированы на уров- 
не Х'. Действительно, легко видеть, что для любой другой 


функции Ё(Х) = | (Х) будем иметь: 

Е ("А (Х))* = Е (и— 1(Х) - Р(Х) —Г0 = 

=Е [(—/(Х))*-- 2 (и—/(Х)) (()— Р(Х)) + КОЕК = 
Е ("-—/(Х))*-- 2Е (и — 1(Х)) (Хх) — (ХУ 

во х)}. 

_—_  1Если объясняющие переменные х(1), х(2),..., хФ) не случайны по 


своей природе, то они играют роль обычных параметров, от которых 
зависит закон распределения случайной величины 1. 


87 


А поскольку Е [(м — /(Х)) (((Х) — (ХЛ = Ех {Е (а — 
— 1 (Х)) © ® — (МХ = ЕХ {0 РМ Хх 
х ПЕ (их) — Еи ( (ХХ } = Ех {0 (Х) — 1 (0) И (© — 
—[(Х)1} = О и Е ({(Х) — {(Х))* >0, то всегда 


Е ("7 (Х))* > Е("—/(Х))" 


В этих выкладках использовался способ вычисления ма- 
тематического ожидания в два этапа: на первом фиксируют- 
ся значения Х и усреднение производится по значениям \ 
(при фиксированном Х), т. е. берется условное математическое 
ожидание при условии, наложенном на &; на втором этапе ре- 
зультат усредняется по всевозможным значениям Х (нижний 
индекс у знака математического ожидания показывает, по ка- 
ким именно значениям производится усреднение). 


Таким образом, мы снова (как ивп. В.5 и 1.1.1) пришли 
к функции регрессии [(Х) = Е (ИЕ = Х), на этот раз как 
к функции от р переменных х(®, х(?), ..., хФ), наиболее точ- 
но (в смысле среднеквадратической ошибки) воспроизводящей 
условное значение исследуемого результирующего показате- 
ля т (Х) по заданной величине Х объясняющих переменных &. 


Вернемся теперь к соотношению (1.5), связывающему меж- 
ду собой общую вариацию результирующего показателя 
(01 = Ом), вариацию функции регрессии (0} = О} (Е)) и ус- 
редненную (по различным возможным значениям Х объясняю- 
щих переменных) величину условной дисперсии «регрессион- 


ных остатков» (от (х› = ЕхО [4|& = Х]). Оно остается спра- 
ведливым и в случае многомерной предикторной переменной 
Е = (80), Е(2), ..., Е(Р)) (или Х = (х@), х(2), ы х(Р))). 
Следовательно, так же как и в случае парной зависимости, 
вариация (случайный разброс) результирующего показателя 
\ складывается из контролируемой нами (по значению предик- 
торной переменной Х) вариации функции регрессии | (Х) 
и из не поддающегося нашему контролю случайного разброса 
значений \ (Х) (при фиксированном Х) относительно функции 
регрессии } (Х). Именно этот неконтролируемый разброс (ха- 


рактеризуемый величиной от(х») и определяет одновременно и 
среднеквадратическую ошибку прогноза (или аппроксимации) 
величины результирующего показателя \ по значениям пре- 
дикторных переменных Х, и степень тесноты связи, сущест- 
вующей между величиной \, с одной стороны, и значениями 


Х — с другой: чем меньше значение от(х), тем точнее прог- 
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ноз и тем теснее связь между т и &. Эти соображения приводят 
нас к следующему способу измерения множественной стати- 
стической связи. 


1.3.2. Множественный коэффициент корреляции и его свойст- 
ва (общий случай). Опираясь на формулу (1.5), введем измери- 
тель множественной корреляционной связи между п и (8%, 
22) ..., ЁР)) — множественный коэффициент корреляции 
Ю,.ё — аналогично тому, как мы определяли в п. 1.1.1 из- 
меритель парной связи — индекс корреляции /1.ё (см. фор- 


мулу (1.6)): 


02 
Ка =1— 19. (1.24) 


(квадрат множественного коэффициента корреляции принято 
называть коэффициентом детерминации). 


Из соотношения (1.5) немедленно вытекают следующие 
свойства множественного коэффициента корреляции: 

а) 0 < ЮКз-ь = 1; 

6) минимальное значение множественного коэффициента 
корреляции (Ю.: = 0) соответствует случаю полного от- 
сутствия корреляционной связи между чи (Ё®, ..., ЕР), 
так как это может быть только при о} = 0} (&) = 0, т. е. при 
независимости значений функции регрессии ] от величины ее 
аргументов Ё (| (Е) = соп${); это соответствует ситуации, 
когда усредненная дисперсия «регрессионных остатков» в точ- 
ности равна общей вариации результирующего показателя; 


в) максимальное значение множественного коэффициента 
корреляции (К... =1) соответствует полному отсутствию 
варьирования «регрессионных остатков» (от(х) = 0), что оз- 
начает наличие чисто функциональной связи между т и (Ё(1), 
..., &()): п =} (2%, ..., &{)). Следовательно, в этом случае 
мы имеем возможность тючно (детерминированно) восстанавли- 
вать условные значения \ (Х) = {ц|& = Х } по значениям пре- 
дикторных переменных Х, и соответственно общая вариация 
результирующего показателя 1] полностью объясняется конт- 
ролируемой вариацией функции регрессии; 

-—^щ 

г) выборочное значение К.Е множественного коэффициен- 
та корреляции Ю„..- определяется на базе системы наблюде- 
НИЙ {хр хр, 9 х), у:};_гл по формуле, получающейся 
из (1.24) заменой участвующих в правой части теоретических 


характеристик ол(х) и ол их выборочными аналогами, т. е. 
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где { (х(), х(®),..., х{Р); 0,,..., 0,) =Е (91| = Х) — функция 
регрессии (1 по &) известного общего вида, зависящая от Ё 
параметров 6,, 6,, .., 9;, значения которых неизвестны (оце- 


ниваются по выборке, см. гл. 6—9)', ау — выборочное сред- 
—_ п 

нее значение результирующего показателя (т. е. у = У уп); 
= 


д) введенные с помощью (1.24) и (1.24’) теоретический и вы- 
борочный множественные коэффициенты корреляции фор- 
мально определены для любой (р - !)-мерной системы наблю- 


дений. Квадрат их величины Юл.ви Ат. показывает, какая 
доля дисперсии исследуемого результирующего показателя 
определяется (детерминируется) контролируемой нами ва- 
риацией соответствующей функции регрессии }(Х). Соот- 
ветственно оставшаяся доля дисперсии показателя \ (т. е. 


величина | — Ют., или | — Юз.) объясняется воздействи- 
ем неконтролируемой случайной остаточной компоненты (‹ре- 
грессионных остатков», «помехи») и определяет ту верхнюю 


—^—м 

1Очевидно, такое определение Ки. предусматривает априорное 
знание общего вида функции регрессии } (Х; 9) и проведение предва- 
рительных расчетов по статистическому оцениванию неизвестных зна- 
чений участвующих в ее записи параметров © = (6,, ..., 0,). Ниже 
(см. п. 1.3.3) мы увидим, что последнее неудобство автоматически устра- 
няется при работе с данными из нормальных генеральных совокупно- 
стей, причем получаемые в этом случае удобные формулы и рекоменда- 
ции могут быть использованы как приближенные и в общем случае. 
Что касается неудобства, связанного с необходимостью априорного 
знания общего вида функции регрессии { (Х, 9), то в зависимости от 
конкретизации задачи и условий сбора исходных данных могут быть 
использованы следующие альтернативные подходы: а} предваритель- 
ное разбиение области значений предикторных переменных Х на ги- 
перпараллелепипеды группирования А;, вычисление условных средних 


у; результирующего показателя по наблюдениям, попавшим в Д;, и за- 
мена дисперсии от (Хх) в формуле (1.24) ее оценкой, построенной по раз- 
бросу значений \ внутри каждого гиперпараллелепипеда группирова- 


ния относительно своих условных средних и; (что приводит нас к обоб- 
щению понятия корреляционного отношения на многомерный случай, 
ср. сп. 1.1.5); 6) использование непараметрической и частично-па- 
раметрической техники оценивания функции регрессии [ (Х) (см. гл. 10). 
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границу точности, которой мы можем добиться при восстанов- 
лении (прогнозировании, аппроксимации) значения резуль- 


тирующего показателя \ по заданным значениям Х объясняю- 
щих переменных Ё. 


1.3.3. Вычисление и свойства множественного коэффициента 
корреляции в рамках линейных нормальных моделей. Если 


предположить, что исходные статистические данные {(х‘1), х(№, 
‚.. ХР; у} =тЕ могут интерпретироваться как выборка 


объема п из (р -|- [)-мерной нормальной генеральной совокуп- 
ности с вектором средних значений 


ЕЕ(1) т() 
ЕЕ(Р) т(Р) 1(9) 
Е т(0) 


и ковариационной матрицей (см. сноску перед формулой (1.3)) 


у — (5 =”) 
ХЕ тт | 


то из (1.3)—(1.4) сразу следует: 


а) функция {(Х) регрессии Ч по & = (1), ..., Е) ли- 
нейна по аргументам, а именно: 


[(Х) =Е (|8 =Х) =т®) -| (0% бр ... бор) Х 


011 012... ИР 
071 02... О?Р 

х (Х—М:), (1.25) 
07! 02? ... ОР 


где в;; = Е (Е — т0)) (ЕФ — тФ))] — ковариации анали- 
зируемых переменных (мы полагаем, для единообразия запи- 
си, (0) =1), а ой — элементы матрицы №; 

6) условная (остаточная) дисперсия отих) = В (и|Е =Х) 
результирующего показателя \ не зависит от того, на каких 


уровнях Х фиксируются значения объясняющих переменных 
ЕЁ, в частности 


от (х) = О (|5 = Х) = ©т:(1 —Кп.1). (1.26) 


Условимся относить подобные ситуации к первому типу 
линейных нормальных моделей. 
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_ Разрешая выражение (1.26) относительно Юп.., мы прихо- 
дим (с учетом постоянства по Х величины сл(х) В данном слу- 
чае) к ранее введенному определению множественного коэф- 
фициента корреляции (1.24). 

Отнесем ко второму типу линейных нормальных моделей 
тот частный случзй «схемы В» (т. е. зависимости случайного 
результирующего показателя ц от неслучайных объясвяющих 
переменных Х, см. $ В.5), в котором функция регрессии } (Х) 
линейна по Х, а остаточная случайная компонента г (Х) под- 
чиняется нормальному закону с постоянной (не зависящей от 
Х) дисперсией о. В этом случае линейность регрессии, гомо- 
скедастичность (постоянство условной дисперсии ол(х) = 02) 
и формула (1.26) следуют непосредственно из определения мо- 
дели и из (1.24). 

Можно показать (см. например, [65, гл. 27]), что при ста- 
тистической обработке выборок, извлеченных из линейно- 
нормальных генеральных совокупностей, множественный ко- 


— 
эффициент корреляции Кц.Е и его выборочное значение Юз.в 
обладают рядом дополнительных свойств (поиведенные ниже 
формулы и свойства теоретического множественного коэффи- 
циента корреляции Юл. автоматически переносятся на выбо- 


рочный Кп.= заменой участвующих в них теоретических ха- 
рактеристик соответствующими выборочными значениями). 

1. Вычисление Юп.е по матрице парных коэффициентов 
корреляции. Обозначая, как и прежде, (р - 1) х р- 1 
корреляционную матрицу (г;;) ;; =ол.... р через К, а алгебра- 
ическое дополнение элемента г,, в ее определителе через 
|В |, имеем 


Че! В 


а К 
[В № 


(1.27) 


2. Вычисление Ют.„ по частным коэффициентам корреля- 
ции 
п-Е = 1— (1-—701) (1—702 (1) (1 —70з (12)... 
... (1—7бр (12... р—1))- (1.28) 
3. Множественный коэффициент корреляции мажорирует 


любой парный или частный коэффициент корреляции, харак- 


теризующий статистическую связь результирующего показа- 
теля, т. е. 


К. > |7од1) | (1.29) 
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где | =1, 2, ..., р, а Г, — Любое подмножество множества 
индексов /, = {1, 2, ..., р}, не содержащее индекса } (соот- 
ношение (1.29) следует из (1.28)). Напоминаем, что &©) =\. 

4. Присоединение каждой новой предсказывающей перемен- 
ной не может уменьшить величины КЮ (независимо от порядка 
присоединения), т. е. 


Юп- Ека) = Юп. (Е), Е(2)) => Юу- (Е), (2), Е(3З)) => ... 
..- ЗАК 1. (а), во), ‚.., (р). (1.30) 


5. Множественный коэффициент корреляции Юл..может 
быть определен как максимальное значение обычного парного: 
коэффициента корреляции между 1 и линейной комбинацией 
ЕС), Е(2),..., ЕР) (максимум — по всевозможным линейным ком- 
бинациям) либо как обычный парный коэффициент корреля- 
ции между з и условным математическим ожиданием Е (9Х). 

6. Статистические свойства выборочного множественно- 


=— 
го коэффициента корреляции Юл. (распределение, моменты, 
доверительные интервалы) состоят в следующем. 
Для проверки гипотезы Но: АЮцщ., = 0, т. е. для выяс- 
нения вопроса, можно ли считать выборочное значение мно- 


м 


жественного коэффициента корреляции Юз.: статистически 
значимо отличающимся от пуля, пользуются фактом Е (р, 
п-р—1)-распределенности случайной величины 


> 
— — . п — — | 
Е(Ю) = ПОР 


__ 5 р 
и 


справедливым в рамках обоих рассмотренных выше типов ли- 
нейно-нормальных моделей при условии, что истинное значение 
множественного коэффициента корреляции К. равно нулю. 


Если окажется, что К (Ю) > и (р, п — р — 1), то гипотеза 
об отсутствии множественной корреляционной связи между \ 
и (Е), Е(2),..., Е()) отвергается при уровне значимости кри- 
терия, равном & (здесь, как и ранее, ча (р, п —р— И — 
100% -ная точка Е-распределения с числом степеней свободы 
числителя р и знаменателя п — р — 1 находится из табл. П.5). 

Можно показать (см. [65, гл. 27]), что в условиях второго 
типа линейно-нормальных моделей (объясняющие перемен- 
ные Х неслучайны) описанный критерий является равномерно 
наиболее мощным. Это вытекает из того, что при Юл. 52 0 


величина Е (В) подчинена нецентральномиу Е (р, п — р — 
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— 1; лАЮз.#) -распределению с параметром нецентральности, 
равным лЮ\%.е. 

Последним обстоятельством можно воспользоваться и при 
приближенном построении доверительных интервалов для не- 
известного истинного значения Ют... В точности повторяя рас- 
суждения п. 1.1.5, относящиеся к построению доверительных 
интервалов для неизвестной величины квадрата корреляцион- 
ного отношения ря.. (см. формулы (1.17)—(1.20)), мы придем 
к следующей рекомендации по построению интервальной 
оценки для Ю1..*, справедливой, правда, лишь при р > 8: 

с доверительной вероятностью, приблизительно равной 
| — 2< (величина © задана), выполняется неравенство 


И р-Е1 
| ы—_—_д << Ах 
оз (а, +). (1 — 2) п 
ИИ р- 1 
хе (1.31) 
9 а (1, №2). (1 — 2.) п 


в котором 9 (\., м.) — 1009%-ная точка центрального Р- 
распределения с числом степеней свободы числителя 


2. \2 
Ю? 
У: = вы (1.32) 
р- 21Ку.Е 


и знаменателя у, = и — р — 1 (в (1.32) символ [а] обознача- 
ет ближайшее целое число к а). 


Однако в условиях первого типа линейно-нормальных мо- 
делей (наблюдения (х(?, х, .., х®, и;) извлечены из 


) 


(р + Ю-мерной нормальной генеральной совокупности; со- 
ответственно объясняющие переменные &0), Ё®), ..., Е) — 


случайные величины) распределение величины Юзт.ё при 
Ют.= 5-0 и конечных объемах выборки (п) существенно от- 


личается от того распределения Юп.,, которое мы имели при 
неслучайных объясняющих переменных (можно, правда, по- 
казать, что при п —> со распределение случайной величины 
—^м 


пЮ1.= сходится в линейно-нормальных моделях и первого и 


*Для построения доверительных интервалов для неизвестного ис- 
тинного значения множественного коэффициента корреляции Кл. 


читатель может воспользоваться также специальными номограммами, 
приведенными в [50] для случаев р = 3, 5, 7. 
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второго типа к нецентральному 52?-распределению с числом сте- 

пеней свободы, равным р, и с параметром нецентральности, 

равным пЮ?). Р. Фишер [183] и ряд других исследователей за- 
м 


нимались изучением распределения величины К. в усло- 
виях первого типа линейно-нормальных моделей (различные 
представления соответствующей функции плотности вероят- 
ности можно найти, например, в [65, гл. 27). 

Приведем здесь лишь выражения для первых двух момен- 
тов интересующей нас величины. 


Случай Ю.:=0 


ЕВ (1.33) 
= ИР ОР д, 27. (1.34) 


(2—1 (и—1) ^ 2‘ 
Случай Юц. 52 0. 


Е а (1 Ва) — РР ЮЗ ЮЗ + 
| 2 р 2 _\. ‚ 
+0 (1) 2 8+ И .ь; (1.33`) 


5. _ 2-8 Р-р ')_ 
О (#—1(#—1 +0[-=)* 


— 2р(п—р — 1) (1 


2 >. ! 
ми (1—4. (1.34') 


Скорректированная (на несмещенность) оценка Ют.-. По 
формулам (1.33), (1.33’) мы видим, что при вычислении выбо- 


рочных значений Ют.. в соответствии с рекомендациями (1.27), 
(1.28), относящимися к условиям линейно-нормальных моде- 
лей, получаются смещенные (а при ограниченных объемах вы- 
борок п и большом числе р предсказывающих переменных — 
существенно смещенные) оценки для неизвестного истинного 
значения Ат... Поэтому желательно попытаться перейти к 


некоторой другой оценке ВЕ неизвестного теоретического 
значения Юз. путем такой коррекции оценки Ва, которая 
позволила бы устранить это смещение. 
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В [233] показано, чтс несмещенной оценкой коэффициента 
В*.: служит статистика 


В. (ВЕ 3 @-Р+1; 


1—2. (1.35) 


где 2 < р<п—1, а Р (а; 6; с; 4) — гипергеометрическая 
функция (см., например, [1, с. 370]. 
Простая аппроксимация правой части (1.35) дает: 


Вичь 1—1 т. (1.35') 


Из последней формулы видно, что «подправленная» оцен- 


ка +. ‚ всегда меньше смещенной оценки Вз. Е. 

Отметим, что при малых истинных значениях Юл. и при 
«не слишком малых» величинах отношения р/и подправлен- 
ные оценки, подсчитанные по формулам (1.35) и (1.35’), могут 
принимать отрицательные значения. Можно устранить абсурд- 
ность отрицательных значений оценки, используя в качестве 
«еще раз подправленной» оценки величину 


Юз" = тах ( Ват, 0) 


— 2 

(правда, Юл*& уже не будет несмещенной оценкой). 

1.3.4. Примеры. Вернемся к ранее рассмотренным примерам 
и оценим в них степень тесноты множественной связи между 
результирующим показателем, с одной стороны, и набором 
объясняющих переменных — с другой. Будем пользоваться 
рекомендациями (а именно формулами (1.27), (1.28)). право- 
мерность которых строго обоснована лишь в рамках линейно- 
нормальных моделей. 


Пример 1.1. Оценка К,.(.и)„@), коэффициента мно- 
жественной корреляции между характеристикой качества 
ткани у и совокупностью двух факторов: количеством профи- 
лактических наладок х@) и числом обрывов нити х(?), под- 
считанная с помощью формулы (1.28), дает: 

Ву (ка) х(3)) = | —(1 — г01) (1 — "о (1)) — 
=1—1[1 — (0,105) [1 —(0,906)?] = 
—=1—0,989.0,179 =1— 0,177 = 0,823. 


Отсюда В, .(ха» ха») = И 0,823 == 0,9072. 
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В данном примере мы не можем воспользоваться формулами 
(1.31)—(1.32) для построения доверительного интервала для 
р („@),@)), Поскольку они дают удовлетворительную точ- 


ность лишь при р > 8. 


м 
Пример 1.2. Оценка К у. ха) (2) коэффициента мно- 
жественной корреляции между урожайностью кормовых трав 
(и = х(9)) и природными факторами — весенним количеством 
осадков (х(’) и накопленной суммой «активных» температур 
(х)), подсчитанная по формуле (1.28), дает: 


В? каз к) = 1 — (1781) (1—2 11) = 
—=1— И — (0,80) [1 — (1,097)? = 
—1—0,36.0,99 — 0,6436. 


Отсюда Ву. (ха к) = 0,6436 = 0,802. 


ВЫВОДЫ 


1. Приступая к статистическому исследованию зависимостей 
между анализируемыми переменными, исследователь должен 
в первую очередь установить сам факт наличия статистиче- 
ских связей и попытаться измерить степень их тесноты. 
В качестве основных измерителей степени-тесноты связей меж- 
ду количественными переменными в практике статистических 
исследований используются: индекс корреляции, корреля- 
ционное отношение, парные, частные и множественные ко- 
эффициенты корреляции, коэффициент детерминации. 

2. Парные корреляционные характеристики позволяют изме- 
рять степень тесноты статистической связи между парой пе- 
ременных без учета опосредованного или совместного влияния 
других показателей. Вычисляются (оцениваются) они по ре- 
зультатам наблюдений только анализируемой пары показате- 
лей. 

3. Факт установления тесной статистической связи между 
переменными не является, вообще говоря, достаточным осно- 
ванием для доказательства существования причинно-следст- 
венной связи между этими переменными. 

4. Парные и частные коэффициенты корреляции являются из- 
мерителями степени тесноты линейной связи между перемен- 
ными. В этом случае корреляционные характеристики могут 
оказаться как положительными, так и отрицательными в за- 
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висимости от одинаковой или противоположной тенденции 
взаимосвязанного изменения анализируемых переменных. При 
положительных значениях коэффициента корреляции говорят 
о наличии положительной линейной статистической связи, 
при отрицательных — об отрицательной. 

5. При наложении случайных ошибок на значения исследуе- 
мой пары переменных (например, ошибок измерения) оценка 
статистической связи между исходными переменными, по- 
строенная по наблюдениям, оказывается искаженной. В ча- 
стности, получаемые при этом оценки коэффициентов корреля- 
ции будут заниженными. Сушествуют методы, позволяющие 
учесть это искажение. 

6. Измерителем степени тесноты связи любой формы являет- 
ся корреляционное отношение, для вычисления которого необ- 
ходимо разбить область значений предсказывающей перемен- 
ной Х на интервалы (гиперпараллелепипеды) группирова- 
ния. Возможна параметрическая модификация корреляцион- 
ного отношения, при которой вычисление соответствующих 
выборочных значений не требует предварительного разбиения 
на интервалы группирования. 

7. Частный коэффициент корреляции позволяет оценить сте- 
пень тесноты линейной связи между двумя переменными, 
очищенной от опосредованного влияния других факторов. Для 
его расчета необходима исходная информация как по анали- 
зируемой паре переменных, так и по всем тем переменным, 
опосредованное («мешающее») влияние которых мы хотим эли- 
минировать. 

8. Множественный (совокупный) коэффициент корреляции из- 
меряет степень тесноты статистической связи (любой формы) 
между некоторым (результирующим) показателем, с одной 
стороны, и совокупностью других (объясняющих) перемен: 
ных — с другой. Формально он определен для любой много- 
мерной системы наблюдений. Квадрат его величины (называе- 
мый коэффициентом детерминации) показывает, какая доля 
дисперсии исследуемого результирующего показателя опреде- 
ляется (детерминируется) совокупным влиянием контроли- 
руемых нами (в виде функции регрессии) объясняющих пере- 
менных. Оставшаяся «необъясненной» доля дисперсии ре- 
зультирующего показателя определяет ту верхнюю границу 
точности, которой мы можем добиться при восстановлении 
(прогнозировании, аппроксимации) значения результирую- 
щего показателя по заданным значениям объясняющих пере- 
менных. 

9. Наиболее удобные свойства (рекомендации по вычислению, 
по интерпретации, статистические свойства) выборочный ко- 
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эффициент корреляции имеет в рамках линейно-нормальных 
моделей, т. е. в одном из двух типов ситуаций: 

а) обрабатываемые статистические данные {(х”, х?, 

(5х, у:}; тп образуют выборку из (р -|- 1)-мерной нор- 
мальной генеральной совокупности; 

6) результирующий показатель 1 связан с объясняющими 
переменными (х(®, ..., х{Р)) линейной регрессионной зависи- 
мостью типа В (см. $ В.5), причем остаточная случайная ком- 
понента подчиняется нормальному закону с постоянной (не. 
зависящей от х(), $), ..., х(Р)) дисперсией. В`этом случае 
разработаны рекомендации по проверке выборочного множе- 
ственного коэффициента корреляции на его статистически зна- 
чимое отличие от нуля, по построению доверительных интер- 
валов для неизвестного истинного значения множественного 
коэффициента корреляции. 


Глава 2. АНАЛИЗ СТАТИСТИЧЕСКОЙ СВЯЗИ 


МЕЖДУ ПОРЯДКОВЫМИ (ОРДИНАЛЬНЫМИ) 
ПЕРЕМЕННЫМИ 


Напомним (см. [14, $5.3, 10.2]), что порядковая (ординаль- 
ная) переменная позволяет упорядочивать статистически об- 
следованные объекты по степени проявления в них анализи- 
руемого свойства. Исследователь обращается к порядковым 
переменным в ситуациях, когда шкала непосредственного 
количественного измерения степени проявления этого свойст- 
ва в объекте ему не известна (в том числе по причине объектив- 
ного отсутствия таковой) или имеет условный смысл и интере- 
сует его только как вспомогательное средство для последующего 
ранжирования рассматриваемых объектов. К подобным ситу- 
ациям относится рассмотрение таких переменных, как «ин- 
тегральный (сводный) показатель эффективности функциони- 
рования социально-экономической системы» (специалиста, 
предприятия, научно-производственного объединения ит. п.), 
«качество (мера оптимальности) структуры потребительского 
бюджета семьи», «качество жилищных условий семьи», «сте- 
пень прогрессивности предлагаемого проекта решения соци- 
ально-экономической, технической или другой проблемы» 
ит. п. 

Таким образом, в отличие от статистического анализа 
Е-го (Е = 0, 1,2, ..., р) количественного признака х“®), когда 
в результате его измерения (наблюдения) на объектах мы мог- 
ли каждому статистически обследованному объекту О; по- 


4* 99 


ставить в соответствие некоторую, измеренную в физически 
интерпретируемой шкале числовую характеристику х(#, ре- 
зультатом измерения порядковой переменной является при- 
писывание каждому из обследованных объектов некоторой ис- 
ловной числовой метки, обозначающей место этого объекта в 
ряду из всех п анализируемых объектов, упорядоченном по 


убыванию степени проявления в них #-го изучаемого свойст- 
ва. В этом случае х(? называют рангом 1-го объекта по А-му 
признаку. 

В зависимости от типа изучаемой ситуации (1) шкала из- 
мерения признака х““) не известна исследователю или от- 
сутствует вовсе; 2) существуют косвенные или частные коли- 
чественные показатели, в соответствии со значениями которых 
можно определять место каждого объекта О; в ряду, упоря- 
доченном по анализируемому свойству’ х(*)) сам процесс упо- 
рядочения объектов О\, О., ..., О, производится либо с исполь- 
зованием экспертной информации, т. е. с привлечением экс- 
пертов, либо формализованно — путем перехода от исходно- 
го ряда наблюдений вспомогательного (косвенного, частного) 
количественного признака к соответствующему вариацион- 
ному ряду 114, п. 5.6.4]. 


2.1. Ранговая корреляция 


2.1.1. Исходные статистические данные (таблица или матрица 
рангов типа «объект — свойство»). Итак, в результате измере- 
ния р -- 1 порядковых переменных х(°) ==у, х(), ..., х{Ф) на 
каждом из п анализируемых объектов О}, О., ..., О, мы полу- 
чаем таблицу (матрицу) исходных данных следующего вида 
(табл. 2.1). 

В этой таблице элемент х(“? задает порядковое место 
(ранг), которое занимает объект О; в ряду всех статистически 
обследованных объектов, упорядоченном по убыванию сте- 
пени проявления А-го анализируемого свойства (т. е. по пере- 
менной х(“*)). 

Очевидно, если рассмотреть столбец с номером Ё этой 
таблицы (К = 0, 1, ..., р), то он будет представлять переста- 
новку из п элементов, а именно перестановку из п натуральных 
чисел |, 2, ..., п, определяющую порядковые места объектов 
О, О., ..., О, в ряду, упорядоченном по свойству х(®). 

Замечание о случаях неразличимости рангов («объединенные 
ранги»). При упорядочении объектов по какому-либо свойст- 
ву х(®) (Е =`0, 1, ..., р) могут встретиться ситуации, когда 
два объекта или целая группа их оказываются неразличимы- 
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Таблица 2.1 


Порядко- Порядковый номер исследуемой переменной («свойство») 
вый номер Д—ОдО—Ш—озэмыэрэмы——ж ——— — 
объекта : 
(«объект») 0 3 |: р 
хо) ха) х(2) 14) М 
2 х(0) х(1) х(?) х(®) х(Р) 
(0) (1 (2 (Е) (р) 
х Е) | | ы х 
(о | 1 5 
п хп ха х( ) ... х® ... х(Р) 


ми с точки зрения степени проявления в них этого свойства. 
Тогда каждому из объектов этой однородной группы припи- 
сывается ранг, равный среднему арифметическому значению 
тех мест, которые они делят, а полученные таким образом ран- 
ги принято называть «объединенными» (или «связными»). 
Так, например, упорядочивая семь альтернативных проектов 
АД, В, С, ЮО, Е, ЕЁ, С перспективного развития некоторой под- 
отрасли с точки зрения их народнохозяйственной эффектив- 
ности, эксперт поставил на 1-е место проект С, на 2-е — про- 
ект Д, далее располагал проекты В, О и Е, которые считал 
неразличимыми (равноценными) по эффективности, а послед- 
нее место отвел проектам Р и С. Тогда соответствующий стол- 
бец таблицы «объект—свойство» будет состоять из следующих 
компонент: 
3-45 

в= ————— ==4; 


, 


Мы видим, что появление объединенных рангов может при- 
вести к дробным значениям рангов, составляющих массив ис- 
ходных статистических данных (значения рангов, соответст- 
вующие 6-му и 7-му проектам). При отсутствии объединенных 
рангов область возможных значений переменных х(*), очевид- 
но, ограничивается множеством первых п чисел натурального 
ряда, где п — число сравниваемых объектов. 


101 


Мы увидим далее, что наличие объединенных рангов не- 

сколько усложняет вычислительные процедуры, связанные со 
статистическим анализом соответствующих ‘корреляционных 
характеристик. 
2.1.2. Понятие ранговой корреляции. Под ранговой корреля- 
цией понимается статистическая связь между порядковыми 
переменными. В статистической практике эта связь анализи- 
руется на основании исходных статистических данных, пред- 
ставленных упорядочениями (ранжировками) п рассматри- 
ваемых объектов по разным свойствам (см. столбцы табл. 2.1). 
Есть ли хоть какая-то согласованность (или связь) между 
упорядочением анализируемых объектов по свойству х() и 
упорядочением тех же объектов по другому свойству хФ? 
Можно ли измерить и проанализировать совокупную статисти- 
ческую связь, существующую между ранжировками одних 
и тех же объектов О, О., ..., О, полученными в соответст- 
вии со степенью проявления в них сначала свойства х(:) (1-й 
способ упорядочения), затем — свойства х“ (2-й способ упо- 
рядочения)? Таким образом, речь идет о системе понятий и 
методов, позволяющих измерять и анализировать статистиче- 
скую связь, существующую между двумя или несколькими 
ранжировками одного и того же конечного множества объек- 
тов О\, О0., ..., Ор. 

Система этих понятий и методов и составляет раздел ма- 
тематической статистики, который принято называть анализом 
ранговых корреляций. Методы ранговой корреляции широко 
используются, в частности, при организации и статистической 
обработке различного рода систем экспертных обследований 
{см., например, [126, 131]. 


2.1.3. Основные задачи статистического анализа связеи между 
ранжировками. Предположим, мы ввели измерители парной 
и множественной ранговой статистической связи (см. ниже 
п. 2.2—2.3). Тогда, опираясь на эти характеристики, иссле- 
дователь чаще всего пытается решить следующие три основ- 
ные задачи статистического анализа структуры и характера 
связей, существующих между изучаемыми порядковыми 
переменными. 

Задача А: анализ структуры имеющейся совокупно- 
сти упорядочений Хх“ = (хр, хх, ..., хх)’, К =0, 
1, ..., р. Интерпретируя каждое упорядочение Х(*) как точ- 
ку в л-мерном пространстве, можно представить, например, 
три наиболее характерных типа такой структуры: 1} анали- 
зируемые точки равномерно разбросаны по всей области своих 


. . в 
возможных значений (определяемой неравенствами | < хр <: 
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=и, { -= 1,2, ..., п), что означает отсутствие какой-либо свя- 
зи или согласованности в представляемых ими ранжировках; 
2) расположение`р -- | точек. таково, что часть из них обра- 
зует ядро из близко лежащих друг от друга точек («сгусток»), 
а остальные произвольно разбросаны относительно этого яд- 
ра. В этом случае существование ядра обеспечивает наличие 
подмножества согласованных переменных; 3) анализируемые 
точки — ранжировки располагаются в пространстве несколь- 
кими относительно далеко отстоящими друг от друга ядрами 
(«сгустками»), что означает наличие нескольких подмножеств 
переменных таких, что переменные внутри одного подмноже- 
ства обнаруживают высокую статистическую взаимосвязь, 
тогда как согласованности между переменными, взятыми из 
разных таких подсовокупностей, практически не существует. 


Задача В: анализ интегральной (совокупной) согла” 
сованности рассматриваемых переменных и их условная ран“ 
жировка по критерию степени тесноты связи каждой из них 
с остальными переменными. Подобные задачи возникают, на- 
пример, при исследовании степени согласованности мнений 
группы экспертов и при попытках условного упорядочения по- 
следних по их компетентности. В основе этого анализа лежит 
расчет коэффициента совокупной согласованности — ко- 
эффициента конкордации для различных комбинаций иссле- 
дуемых переменных (см. п. 2.3). 


Задача С: построение единого группового упорядоче“ 
ния объектов на основе совокупности согласованных упорядоче- 
ний «ядра» (или нескольких групповых упорядочений — при 
наличии нескольких «ядер»). Решение этой задачи сводится 
к построению такого упорядочения, которое было бы, в оп- 
ределенном смысле, наиболее близким к каждому из упоря- 
дочений заданной совокупности — «ядра». Именно с такой 
задачей сталкивается, например, исследователь, желающий 
установить неизвестное истинное упорядочение заданной со- 
вокупности объектов по имеющемуся в его распоряжении на- 
бору экспертных ранжировок тех же объектов. Для построе- 
ния единого (группового) варианта упорядочения ХС^ ча- 
сто используют в качестве ранга х“^ объекта О; среднее 


арифметическое или медиану имеющихся базовых рангов 
хх. х(22. ..., х(Р) этого объекта. Обоснование способа построе- 
ния единого варианта упорядочения может быть получено, на- 
пример, в рамках подхода, ‘предложенного Дж. Кемени и 
Дж. Снеллом [63] (и распространенного затем Б. Г. Миркиным 
на случай номинальных признаков [92]), который опирается на 


введенную ими меру близости между ранжировкамн (определ Я- 
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ется ранжировка Х! А, наименее удаленная ‚ в смысле введен- 
ной меры близости, от всех ранжировок Х(), Х(?),..., Х() 
базовой совокупности). Задача С может быть сформулирована 
и как задача наилучшего (в определенном смысле) восстанов- 
ления ранжировки Х{°), связанной с результирующей перемен- 
ной И = х@®), по ранжировкам Х(1), Х(2),..., ХФ), индуци- 
руемым соответственно объясняющими переменными х(1), х(?), 
‚ ХФ). В такой формулировке ее называют также задачей 
регрессии на порядковых (ординальных) переменных. 


2.1.4. Вероятностные пространства ранжировок, генерируе- 
мые порядковыми переменными [14, гл. 4, 5]. Вытекающая из 
определения порядковой случайной величины специфика за- 
ключается в первую очередь в том, что ее «возможные значе- 
ния» определены в пространстве ранжировок, причем длина 
этих ранжировок (1) определяется числом статистически об- 
следованных объектов (т. е. объемом выборки!). В то же вре- 
мя множество возможных значений количественной случай- 
ной переменной, а следовательно, и ее закон распределения 
вероятностей никак не зависят от объема обрабатываемой ста- 
тистической выборки [14, гл. 51. Для приведения «к общему 
знаменателю» этих двух схем можно воспользоваться одним 
ИЗ ДВУХ ПОДХОДОВ: 

а) формализованным описанием (с помощью той или иной 
математической модели} самого механизма генерирования ран- 
жировок, основанным на допущении, что решение о предпо- 
чтении объекта О; объекту О; принимается на базе сравнения 
восстанавливагемых каким-либо способом со случайной ошиб- 
кой значений латентных (т. е. не поддающихся непосредствен- 
ному измерению) числовых характеристик и; = и (0; ич; = 
= 0 (0); «ценности» или «предпочтительности» этих объектов 
(см., например, о моделях Терстоуна—Мостеллера, Льюса 
и др. вкн.: Статистические методы анализа экспертных оце- 
нок. -— М.: Наука. 1977); в этом случае параметр п (число 
сравниваемых объектов) сохраняет за собой роль объема вы- 
борки, а закон распределения вероятностей ранжировок рас- 
сматривается как распределение в выборочном пространстве, 
генерируемое вероятностным пространством случайной вели- 
чины 9; 


6) определением в качестве {-го случайного эксперимента 
[14, п. 4.1.1] результата «наблюдения» Х() ранжировки по 
{-му свойству (/ = 0, 1,2, ..., р); тогда число сравниваемых 
объектов п будет играть роль размерности нашего наблюде- 
ния, а объем выборки будет определяться числом рассматри- 
ваемых свойств (т. е. р +1). 
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Остановимся на последнем подходе к построению и интер- 
претации вероятностных пространств ранжировок. В этом 
случае мы приходим к следующей модели вероятностного про- 
странства ранжировок длины п, генерируемого порядковой 
переменной х(®! 

Пространство элементарных исходов ® = {в;} ‚тм ©0- 
стоит из М = п! всевозможных перестановок и не зависит 
от номера переменной А. Распределение вероятностей зада- 
ется последовательностью РР = {р} гм, элементы 


которой, вообще говоря, зависят от номера «генерирующей» 
переменной К. 

Поскольку множество элементарных исходов & дискретно 
(и конечно!), любое его подмножество измеримо и, следова- 
тельно, может быть интерпретировано как случайное событие. 

Далее (см. $2.2—2.3) будут предложены рекомендации 
по вычислению выборочных характеристик парной и множест- 
венной ранговой статистической связи. Однако исследование 
их важных статистических свойств (и в частности, конструи- 
рование на их основе статистических критериев и доверитель- 
ных интервалов для неизвестных теоретических значений 
анализируемых характеристик) возможно лишь при некото- 
рых дополнительных допущениях (гипотезах) относительно 
характера последовательностей Р“*) и статистических свя- 
зей между х(6), х@),..., хФ). 

Наиболее исследованным является случай, когда постули- 
руется справедливость следующей гипотезы Но: 


(а) случайные переменные {х*}, _ 5—5 статистически 


Но: независимы (см. [14, $5.5]); 
(в) все элементарные исходы равновероятны, т. е. 


(2.1) 


р = р® =... = р® ==, #=0,1,..., р. 
п 


Содержательно допущения гипотезы Но означают, что ран- 
жирования заданного множества объектов по различным свой- 
ствам х(0), х(1),..., хФ) никак друг с другом не связаны (допу- 
щение (а)) и что ни одно из этих свойств не определяет ника- 
ких предпочтений в задаче сравнения «качества» анализируе- 


\Для упрощения обозначений здесь рассматривается лишь случай 
строгих упорядочений, т. е. ситуации, когда принципиально невозмож- 
на неразличимость рангов (объединение рангов). Общий случай имеет 
лишь технические отличия, связанные с увеличением общего числа М 
элементарных исходов. 
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мых объектов, так как в результате случайного эксперимента 
с одинаковой вероятностью может появиться любое из п! воз- 
можных упорядочений (допущение (в)). К сожалению, стати- 
стический анализ, проведенный в рамках допущений (2.1), 
дает возможность лишь принять или отклонить гипотезу Ну. 
А поскольку на практике выборочные ранговые корреляцион- 
ные характеристики оказываются, как правило, весьма вы- 
сокими по абсолютной величине (что свидетельствует о том, 
что мы находимся вне условий нулевой гипотезы), то их рас- 
пределение в реальной ситуации оказывается неизвестным и 
на их основе не удается делать дальнейшие выводы (аналогич- 
ные, например, тем, которые следуют из п. 1.1.3, 1.1.5, 1.2.3, 
1.3.3 относительно парных, частных и множественных корре- 
ляционных связей между количественными переменными). 

Более интересными в прикладном плане нам представляют- 
ся условия, постулируемые в рамках гипотезы Ну: 


(а) случайные переменные {х()}, _;—, статистически 
независимы; 

(в) случайные переменные {х(*)}, _‚— одинаково 
распределены, т. е. Р(0) = Р() =... = Р@) =Р; 

(с) распределение вероятностей Р обладает свойст- 
вом монотонности относительно некоторого 
истинного упорядочения @д.. (2.2) 


но: | 


Под свойством монотонности понимается выполнение сле- 
дующего условия: если введенное некоторым образом «рас- 
стояние» 4 (®;, ®;) между любым упорядочением в; и неко- 
торым «истинным» упорядочением ®;, не превосходит 4 (®;’, 
0;), то р; 2 р;; другими словами, чем «ближе» ранжиров- 
ка к истинной, тем с большей вероятностью мы ее получим в 
результате случайного эксперимента над переменной х(®) 
(Е = 0, 1, ..., р), и, следовательно, истинная ранжировка 
«; является наиболее вероятным исходом случайного экспе- 
римента. 

Некоторые результаты, связанные со статистическим ана- 


лизом ранжировок в рамках условий (2.2), можно найти в 
[105, 131. 


2.2. Анализ и измерение парных ранговых 
статистических связей 


2.2.1. Ранговый коэффициент корреляции Спирмэна. Для 
измерения степени тесноты связи между ранжировками 


Е Г (^ (^ 1 ] ] ] 
ХО =, хо, ... Хх) и ХФ = (50, хФ, ... хо 
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К. Спирмэн еще в 1904 г. предложил показатель 


п 
> 6 
т =] а У (^{®) — хр), (2.3) 


=] 


названный впоследствии ранговым коэффициентом корреляции 
Спирмэна. Прямым подсчетом нетрудно убедиться, что для 


совпадающих ранжировок (т. е. при х*№ = х# для всех 
- 


=1,2,..., п) т) = 1, а для противоположных (т. е. при 
к . ^^ 
Хх =п — хФ + | = 2,... п) т = —]. Можно 


показать (см., например, [67]), что во всех остальных случа- 
—^ ($ 
ях 5 < 1. 
Формула (2.3) пригодна лишь в случае отсутствия объеди- 
ненных рангов в обеих исследуемых ранжировках. Для ее 
распространения на общий случай определим для каждой 


(К-й) ранжировки Х(® (Е = 0, 1, ..., р) величину 
т(Ё) 
Т‹®) = => (74°) — п], (2.4) 


$=1 


где 1т(®) — число групп неразличимых рангов у переменной 
х®, ап — число элементов (рангов), входящих в #ю груп- 
пу неразличимых рангов (в частном случае отсутствия объеди- 
ненных рангов имеем т” = п, пФ? = п® =... = п® = 
= | и соответственно Т«“) = 0; кроме того, группы нераз- 
личимых рангов, состоящие из единственного элемента, по 
существу, не участвуют в расчете величины ТГ“*)). 

Тогда ранговый коэффициент корреляции Спирмэна меж- 
ду ранжировками Х() и Х() следует вычислять по формуле 


п 
(8) — У (друг -то 
=] 


09 = (2.5) 


УД [ато | ции) 27| 


Если Те и ТФ являются неболыпшими относительно 


| 
6 (пз — п) величинами, то можно воспользоваться прибли- 
женным соотношением (а при Т®) = ТФ оно точное) 


07 


п 
хе + 


^ =1 


(5) — | 
т | 


Е ИИ (2.5') 
= (пз— п) — (т -- т) 


Правда, при этом же условии (относительная малость 
; | 
Т®) + ТФ по сравнению с с (1° —п)) и приближенная 


формула (2.3) дает хорошую точность. 

Пример 2.1. Два эксперта проранжировали 10 пред- 
ложенных им проектов реорганизации научно-производствен- 
ного объединения (НПО) с точки зрения их эффективности 
(при заданных ресурсных ограничениях). Занумеровав про- 
екты в порядке ранжировки 1-го эксперта, получаем в каче- 
стве исходных данных: ХО)’ = (1; 2; 3; 4; 5; 6; 7; 8; 9; 10); 
Х(2)" = (2; 3; 1; 4; 6; 5; 9; 7; 8; 19). 

Вычисления по формуле (2.3) дают: 


НЕЕ ОР + 2+1 


6 
= | -———_.14 = 0,915 
РЕ) = 1-14 = 0,915, 


что свидетельствует о существенной положительной ранговой 
связи между исследуемыми переменными. 

Пример 2.2. Десять однородных предприятий под- 
отрасли были проранжированы вначале по степени прогрес- 
сивности их оргструктур (признак х(1)), а затем — по эффек- 
тивности их функционирования в отчетном году (признак х(2)). 
В результате были получены следующие две ранжировки: 
ХО)’ = (1; 2,5; 2,5; 4,5; 4,5; 6,5; 6,5; 8; 9,5; 9,5); ХУ = 
= (1; 2; 4,5; 4,5; 4,5; 4,5; 8; 8; 8; 10). 

В первой ранжировке имеем четыре группы неразличимых 
рангов, число элементов в которых больше единицы, а во втО- 


рой ранжировке — две такие группы. В соответствии с форму- 
лой (2.4) получаем: 


т 2 — 0+ (2—1 (2—8 =2,38; 


Т(2) = -- [(48— 1) (3—1) =7,49. 


Точная формула (2.5) дает 19°) = 0,917. Вычисление 
этого же коэффициента корреляции по приближенным фор- 
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мулам (2.3) и (2.5'’) дает соответственно значения 0,921 и 
0,917. Все эти результаты оказываются совпадающими при 
округлении до второго десятичного -знака. 

2.2.2. Ранговый коэффициент корреляции Кендалла. Другой 
широко используемой характеристикой тесноты статистиче- 
ской связи между двумя упорядочениями является ранговый 
коэффициент корреляции Кендалла, определяемый соотно- 
шением [67] 


4% (Хх, х9)) 


(К — 1 — 
й п(п—1) 


(2.6) 


где у (Хх, ХФ) — минимальное число обменов соседних 
элементов последовательности Х), необходимое для при- 
ведения ее к упорядочению Х“). Очевидно, величинам (Х ®), 
ХФ) симметрична относительно своих аргументов, так что 
с равным правом можно говорить о минимальном числе «со- 
седских обменов» элементов последовательности Х«“), не- 
обходимом для приведения ее к виду ХФ. 

Из (2.6) сразу следует, что при совпадающих ранжировках 
Хх и ХО т = | (так как \ (Х(), ХО =0), а при 
противоположных (т. е. при х@® =п— ХФ 1, Е=1, 
2, ..., п, так что у (Х®, ХФ) = 5 п п!) ) © = — |. 


Нетрудно показать (см., например, 67, что во всех осталь- 
ных случаях Г < 1. 


— 
Вычисление т) связано с необходимостью подсчета ве- 


личины % (Х(), ХФ) и, следовательно, является более 
трудоемким, чем вычисление 7%). Однако, во-первых, 


коэффициент Кендалла обладает некоторыми преимущест- 
вами по сравнению с коэффициентом Спирмэна, главные из 
них: а) относительно болыпая продвинутость в исследовании 
его статистических свойств и, в частности, его выборочного 
распределения (см. ниже, п. 2.2.4); 6) возможность его ис- 
пользования и в частной («очищенной») корреляции рангов 
[67, гл. 81); в) большие удобства его пересчета при добавле- 
нии к И статистически обследованным объектам новых, т. е. 
при удлинении анализируемых ранжировок: для вычисления 
нового значения рангового коэффициента корреляции прихо- 
дится переранжировать значительную часть объектов, что в 
случае т(?) означает необходимость пересчета разностей 


х® — хр; при вычислении же т) значения рангов не 
играют никакой роли, важно лишь число необходимых «сосед- 
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ских обменов», которое при добавлении новых объектов под- 
считывается рекуррентным способом (к старому значению 


у (Хх, Х9) может быть лишь дополнен некоторый «доба- 
вок»). 


Во-вторых, можно воспользоваться рекомендациями, уп- 
рощающими подсчет числа у (^(®, ХФ) как при ручном, 
так и при машинном счете. 

Так, при ручном счете полезным оказывается известный 
факт тождественного совпадения величин у (Хх, Х9) и 
Г(Х(®, хХ4)), где число инверсий Г (Х®, ХФ) — это про- 
сто число расположенных в неодинаковом порядке пар эле- 
ментов последовательностей ХХ“) и ХФ, явллющееся ес- 
тественной мерой нарушения порядка объектов в одной по- 
следовательности относительно другой. Для удобства подсчета 
[(Х®, ХФ) перенумеруем объекты в порядке, определяе- 
мом рангами последовательности Х). Тогда анализируемые 
ранжировки Х%, ХФ соответствующим образом видоиз- 
меняются, т. е. преобразуются к виду соответственно Хо, 
ХФ, где Х®’ = (1, 2,...,п); ХФ’= (ФФ, ХФ, ..., х()), 
а число инверсий / (Х%®, Х0)) =1(Х®, Х9)), а следо- 
вательно, и величина у (Хх, ХЧ) определятся по формуле 

. п 1 . 
у (Хх, ХФ) =1(Х%, ХФ) = У У в: ы (2.7) 
д=11=9- 


где 


1, если х(}>> (т.е. нарушен порядок последо- 
вательности Х()) 
О—в противоположном случае. 
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Легко подсчитать, что число инверсий /(Х@), ХФ) мо- 
жет меняться от 0 (что соответствует случаю совпадающих 


| 
ранжировок) до п (п — 1) (что соответствует случаю про- 
тивоположных ранжировок). 
Формулы (2.6)—(2.7) пригодны для подсчета 14”) лишь 


в случае отсутствия объединенных рангов в обеих исследуе- 
мых ранжировках. Соответствующее «подправленное» значе- 
—^ 


ние тел) при наличии объединенных рангов в анализируемых 
упорядочениях будет определяться соотношением 


10 


(к) __ 9 (и И(2)) 
(к) _ ы п(п—1) 


о и 2(1(Е) (111) (2.6 ) 
| -е25) (тео) 
п (п— 1) п (п 1) 


= 
в котором коэффициент тей вычисляется по формуле (2.6)— 


(2.7), а «поправочные» величины (/ определяются соотно- 
шением 


(1) 
Ч 
= У (тт, 1, ] (2.8) 


{=1 


(смысл величин и!) и п@ определен в п. 2.2.1, см. (2.4)). 


Для пояснения работоспособности формул (2.6)—(2.8) вер- 
немся к примерам 2.1, 2.2. 


Анализ степени согласованности ранжировок двумя экс- 
пертами десяти проектов реорганизации НПО (пример 2.1), 
осуществленный с использованием формул (2.6), (2.7), дает: 
Уз == 0; Уз = 1, Уи == 15 == №16 == У17 55 М8 = 19 == 1.10 == 0; 

Уз = 1; Уз == рб == 26 == М5 = 28 = 29 == Ур. 10 == 0; 
Уза = 1; Уз == №56 == №37 == №38 == №39 == Уз. 10 == 0; 


Уль == Ув == уу = цв == Уно == У. 10 == 0; 


Ув = 1; Ур == ув == Му == 5.10 == 0; 
Ува == №68 == №69 = в. 10 == 0; 

Ув = 1; Мь=1 У10==0; 

Уз9 = 8.10 = 0; 

У9.10 = 0- 


Таким образом, % (ХИ), Х(2)) = +1 О-АНО- 
2 О-О = 6. 


Соответственно 


1 10,267 =0,133 
10.9 


(напомним, что коэффициент Спирмэна в этом примере был 
равным 0,915). 
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При вычислении рангового коэффициента корреляции Кен- 
далла в примере 2.2 следует воспользоваться формулой (2.6'), 
так как исследуемые ранжировки содержат объединенные ран- 
ги. Используя результаты расчета величин т) = 4, т@®) = 2, 
по — п — по — ПО =2, п = 4, п) - — 3 (см. п. 9.9. 1). 
получаем (в соответствии с (2.8)): 


И =--(2+2+-2+2)=4; И® = - (4-3+3-2) =9 


Обращаясь теперь к формуле (2.6’), имеем: 


(напомним, что соответствующий коэффициент Спирмэна был 
равен 0,917). 

2.2.3. Обобщенная формула для парного коэффициента кор- 
реляции и связь между коэффициентами Спирмэна и Кендал- 
ла. Для удобства стандартной реализации системы алгоритмов 
корреляционного анализа на ЭВМ полезно ввести некоторый 
обобщенный прием вычисления парных корреляционных ха- 
рактеристик, определенный для любой двумерной системы п 
наблюдений 


(^".) Же, Хх, ..., ЖИ (2.9) 
хо’ ЖЛ, ХФ, ..„ ХФ 

С этой целью определим некоторое правило, в соответствии 
с которым каждой паре (х{), х{)} компонент вектора ХФ 
(1 = №, 7) ставится в соответствие число («метка») а), при- 
чем это правило должно обладать свойством отрицательной 

(0 — аа 

симметричности (т. е. ай) = — &}) и центрированности 
(т. е. а? =0 при всех [=#,] и всех #=1,2,..., п). Тогда 


обобщенный коэффициент корреляции г©б) переменных х(® 
и Хх определяется формулой 


у х ". Е 


тов — п =11,=1 


хх ‚ (ал, х (4 1, 


= = 


(2.10) 


Легко видеть (см., например, 67), что практически все 
введенные нами характеристики парной корреляционной свя- 
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зи могут быть получены как частные случаи формулы (2.10) 
при соответствующем выборе правила приписывания числовых 
«меток» а:1:,. Действительно: 
( = (1 —__ Г —- - 
а) положив а! = хо жи, [= А, | получаем фор- 
—=—, 


мулу для обычного парного коэффициента корреляции гь;, 
если х' — значение /-й количественной переменной в {1-м 


наблюдении (см. п. 1.1.2, формулу (1.8')), н формулу для ран- 


гового коэффициента корреляции Спирмэна т, если 


х(П — ранг 1-го объекта в ряду, упорядоченном по порядко- 
вой переменной х() (см. формулу (2.3); 
6) положив 


+1, если х( < 0; 
я 1 


(И — (И — О. 
а} } = 0, если х =2%,); 


— 1, если х(1) > х0, 
1 2 
получаем формулы (2.6) и (2.6’) для рангового коэффициента 


корреляции Кендалла т, если под Хх) понимать ранг 1-го 


объекта в /-м упорядочении. 
Заметим, что значения ранговых корреляционных характе- 


—^ .—^ 
ристик т) И т{?) довольно тесно связаны одно с другим. 


Это следовало ожидать, так как обе характеристики являются 
линейными функциями от числа инверсий, имеющихся в срав- 
нении последовательностей Х(®) и ХЧ): различие этих функций 
состоит в том, что при подсчете коэффициента Спирмэна ин- 
версиям более отдаленных (по величине) друг от друга эле- 
ментов приписываются болышие веса (см., например, [67, 
п. 1.17 и 2.12]). Между масштабами шкал, в которых измеряют 


—м — 
корреляцию коэффициенты т“) и т(К) нет простого соот- 
ношения. Однако уже при умеренно больших значениях п 
(п > 10) и при условии, что абсолютные величины значений 
этих коэффициентов не слишком близки к единице, их связы- 
вает следующее простое приближенное соотношение 


(5) у 1,5 К). 


2.2.4. Статистические свойства выборочных характеристик 
парной ранговой связи. До сих пор речь шла о выборочных 
характеристиках ранговой связи. Попробуем ответить на во- 
прос: как точно эти выборочные характеристики (определен- 
ные, в частности, формулами (2.3)—(2.8)) оценивают соот- 
ветствующие истинные (теоретические) значения? 
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Для этого в первую очередь следует пояснить, что в дан- 
ном случае понимается под теоретическими характеристика- 
МИ. 

Представим себе сначала конечную генеральную совокуп- 
ность, состоящую из Л объектов О\, О.,..., Ом, каждый из ко- 
торых снабжен двумя порядковыми номерами: О; «+ (х®, №47), 
1=1,2,..., М, где х() означает место объекта О; в общем ря- 
ду всех № объектов, упорядоченном по степени выраженности 
свойства х() (/[=&, 7). Будем полагать, что статистически об- 
следованное множество объектов О;., О;,, ..., О: образуется 


как случайная выборка объема п, взятая из совокупности О,, 
О., ..., Ом ПМ). 

Определим теоретические (истинные) значения коэффи- 
циентов т”), т.) И гор) соответственно теми же соотноше- 


ниями (2.3) (или (2.5)), (2.6) (или 2.6’)) и (2.10), что и вы- 
борочные с заменой объема выборки п объемом генеральной 
совокупности М№. При работе с выборкой производится есте- 
ственная перенумерация объектов и их рангов, не меняющая 
их упорядоченности в генеральной совокупности ни по одной 
из переменных. 

В дальнейшем нас будет интересовать, как сильно могут 


ра — 
отличаться выборочные значения т(5°) и т(К) от соответст- 
вующих теоретических, в том числе в так называемых асимп- 
тотических ситуациях, т. е. при М№М-— о и п (М) о. 

Проверка статистически значимого отличия от нуля ран- 
говых корреляционных характеристик (т. е. проверка гипоте- 
зы Но, см. соотношения (2.1)) осуществляется при «не слиш- 
ком малых» п (т. е. при п >> 10) при заданном уровне значи- 
мости критерия © с помощью проверки неравенств 


—( +5) 
11а ("— 2). И +=С° Ст у. (2.11) 
| Зо: ЕЯ 2215) (2.12) 
2 


9п (п—1) 


в которых В (У) и иа, как и прежде, 1009%-ные точки соот- 
ветственно { (у)- и нормального распределения (см. табл. П.6 
и П.3). Выполнение неравенств (2.11) и (2.12) сигнализирует о 
необходимости отвергнуть гипотезу Ну, т. е. о наличии стати- 
стически значимой ранговой корреляционной связи. В слу- 
чае небольших объемов выборок (4 < л <10) статистическая 
проверка гипотезы об отсутствии ранговой корреляционной 
связи производится с помощью табл. П.9 и П.10. 
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Таблица [1.9 позволяет при малых п (п = 4,5, ..., 10) по- 
строить то пороговое значение т(5), при превышении которо- 


—^ 
го (по абсолютной величине) коэффициентом Спирмэна т\5) 
следует признать наличие статистически значимой связи меж- 
ду анализируемыми переменными. Задавшись уровнем зна- 
чимости критерия & и числом сравниваемых объектов п, оп- 
ределяем из таблицы величину $с = %с (п, @), соответствую- 


щую нашему пл и значению О = 9/2 (или приблизительно 
равному &/2). Тогда 


28с(п, 9) 
|, (2.13) 
щах К 
п 
| З ® . «2 
где К, — 3 (п”— п) (значения этой вспомогательной кон- 


станты приведены в последней строке таблицы). 

Так, в примере 2.1 для уровня значимости © -= 0,06 име- 
ем: п = 10; 9 = 0,03; $с = $с (10; 0,3) = 268; Кв, = 330, 
так что в соответствии с (2.13) 


(5) —. 2.268 | 0694. 
тах 330 ) 

Поскольку выборочное значение рангового коэффициента 
корреляции Спирмэна т“°) в этом примере значительно пре- 


— 
восходит пороговое значение (т“°) = 0,915 >> 0,624), то ги- 
потеза об отсутствии корреляционной связи отвергается. 
И наконец, в табл. [1.10 приведены значения вспомогатель- 
ных величин эк, позволяющих вычислить (при малых п = 4, 
5, ..., 10) то пороговое значение т() , при превышении которо- 


го (по абсолютной величине) коэффициентом Кендалла сле- 
дует признать наличие статистически значимой связи между 
анализируемыми переменными. Для этого поступают следую- 
щим образом: задавшись объемом выборки п и уровнем зна- 
чимости критерия &а, находят в столбце, соответствующем дан- 
ному п, величину, равную (или приблизительно равную) &/2; 
затем находят значение $5к = $к(п, а) в левом столбце 
той же самой строки и вычисляют т (К) по формуле 

ск —_ 29К@, 9 (2.14) 

тах п- (п—1) 


Если окажется, что х(К) >), то гипотеза об отсутствии 


ранговой корреляционной связи отвергается (связь статисти: 
чески значима). 
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Так, в примере 2.1 при уровне значимости © = 0,06 име- 
ем: п = 10; 0,23 <5 < 0,36; следовательно, $к == 22 (оно 
лежит между 21 и 23), так что 
2.22 44 


т(К) — = —— =0,489. 
пах 10.9 90 


Поскольку т(К) = 0,733 >> 0,489, делается вывод о на- 
личии статистически значимой корреляционной связи между 
исследуемыми переменными в данном примере. 

Построение доверительных интервалов для неизвестных 
истинных значений ранговых коэффициентов корреляции воз- 
можно лишь приближенно и только при измерении ранговой 
корреляции с помощью коэффициента Кендалла. При этом 
используют (прил >10 и значениях т(К), не слишком близ- 
ких по абсолютной величине к единице) приближенный факт 


нормальности распределения величины т(К) со средним зна- 
—^ — 
чением Ет(К) — т(К) и с дисперсией От), не превышаю- 
“ 2 
щей величины -[1 — (т(®)?]. Можно утверждать, что с до- 


верительной вероятностью, не меньшей заданного уровня Р, 
истинное значение коэффициента Кендалла т(К) заключено 
в пределах 


(К) — и у ИС < (К) (К) -- 
—— п 


НИ ТР у то-е я, (2.15) 
9 —- п 


где и — д-квантиль стандартного нормального распределе- 
ния (см. табл. 1.3). 


2.3. Анализ множественных ранговых связей 


2.3.1. Коэффициент конкордации (согласованности) как изме- 
ритель статистической связи между несколькими порядко- 
выми переменными. До сих пор мы рассматривали корреля- 
цию между двумя порядковыми переменными. Однако при ре- 
шении основных задач А—С статистического анализа ранго- 
вых связей (см. п. 2.1.3) возникает необходимость уметь из- 
мерить статистическую связь между несколькими (более чем 
двумя) переменными. С этой целью Кендаллом [67] был пред- 


— 
ложен показатель У (т), названный коэффициентом кон- 
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кордации (или согласованности), вычисляемый по. формуле" 


а 
Й (п) == 2 У У4- авы (2.16) 


т? (пз—п). = 2 


где т — число анализируемых порядковых переменных (срав- 
ниваемых упорядочений); и — число статистически обследован- 
ных объектов или длина ранжировки (объем выборки); К;, 
Ко, ..., Ет — Номера отобранных для анализа порядковых пе- 
ременных (из исходной совокупности х(9), х@), х(?), ..., х{Ф), 
так что, очевидно, тр + |). 

Нетрудно устанавливаются следующие свойства коэффи- 
циента конкордации (см., например, [67, гл. 6]): 

а 0 <= 1; 


— 


6) \ =- 1 тогда и только тогда, когда все т анализируе- 
мых упорядочений совпадают; 

в) если т > 3 и анализируемые ранжировки генерируют- 
ся подобно случайному независимому т-кратному извлече- 
нию из множества всех п! возможных упорядочений п объек- 
тов (условия гипотезы Ну, см. п. 2.1.4), то связи между ними 
нет и Й = 0; 

г) пусть т(5) (71) — среднее значение коэффициента Спир- 
мэна, подсчитанное по значениям т (т — 1)/2 коэффициен- 


тов т, (1 ]=1,2,..., т; Г=Ё ]), характеризующих ранго- 
| 
вую связь между всеми возможными парами переменных 


. К. 
“п, х"Л7) из анализируемого набора (х(/, х(&), ..., хит); 


__ т (т) —1 


(2.17) 
т— | 


В частности, из (2.17) следует для случая т == 2, что 


ы 
® (2) — > = ($$ +1) (2.17') 
т. е. коэффициент конкордации, исчисленный для двух пере- 
менных, пропорционален введенному ранее парному ранго- 
вому коэффициенту корреляции Спирмэна. 


1Мы приводим здесь формулу для подсчета выборочного значения 


— 

№ коэффициента конкордации У. Интерпретация и вычисление тео- 
ретического значения Й непосредственно следуют из рассуждений, 
приведенных в п. 2.2.4 в связи с анализом статистических свойств вы- 
борочных парных ранговых коэффициентов корреляции. 
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То, что шкала измерения № (т) не включает в себя отрица- 
тельных значений, объясняется следующим обстоятельством. 
В отличие от случая парных связей при анализе т (т > 3) 
порядковых переменных противоположные понятия согласо- 
ванности и несогласованности утрачивают прежнюю симмет- 
ричность (относительно нуля); упорядочения, произведенные 


в соответствии с переменными х“, хз, ..., хит), могут 
полностью совпадать, но не могут полностью не совпадать 
в том смысле, который мы вкладывали в это понятие при 
т = 2. 

Формула (2.16) получена (и справедлива) в предположе- 
нии отсутствия объединенных рангов в каждом из анализи- 
руемых упорядочений. Если же таковые имеются, то формула 
должна быть модифицирована: 


п т 


У У &)_ ТПО 
А; о о 
М (т А, (2.16’) 


. к, . 
где поправочный коэффициент ТИР (соответствующий пере- 


менной х“Л) подсчитывается по формуле (2.4). 

2.3.2. Проверка статистической значимости выборочного 

значения коэффициента конкордации. Как ведут себя выбороч- 
—^щ 


ные значения \ (т) коэффициента конкордации при повто- 
рении выборок заданного объема л (из одной и той же генераль- 
ной совокупности) при отсутствии какой-либо связи между 
анализируемыми т переменными? Другими словами, нас ин- 
тересует ответ на следующий вопрос. Предположим, что каж- 
дому объекту конечной генеральной совокупности (состоящей 
из М элементов) приписан какой-то определенный ранг по 
каждой из т рассматриваемых перемемных. Так, например, 
если т = 3 и объекту О; приписана тройка (х!1? = М; х{(*? = 1; 
х‘3) = 29), то это означает, что по переменной х(® он стоит на 
последнем (№-м) месте в упорядоченном ряду всех объектов 
генеральной совокупности, по переменной х“*) — на первом 
и по переменной х(°) — на втором. Тогда по исходным данным 
{(, Хх, ..., хт)}, - гм с помощью формулы (2.16) может 
быть вычислен теоретический (генеральный) коэффициент кон- 
кордации Я (т), характеризующий степень тесноты ранго- 
вой связи между переменными х(), х(?),..., х(т). Однако ис- 


следователю известны значения (х(0, х(®,..., х(")) лишь для ча- 
сти объектов генеральной совокупности, а именно для слу- 
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чайной выборки объектов объема п (п < М). После естест- 
венной перенумерации рангов, сохраняющей правило упоря- 
дочения объектов, но переводящей масштаб измерения ран- 
гов в шкалу (1, 2, ..., п) (для этого минимальный из оказав- 
шихся в выборке рангов по каждой переменной объявляется 
рангом, равным |, следующий по величине — рангом, равным 
2, ит. д.), может быть вычислен (по той же формуле (2.16)) 
—^щ 


выборочный коэффициент конкордации Я (т). Извлекая дру- 
гую выборку объема п из той же самой генеральной совокуп- 
ности, мы получим, вообще говоря, другое значение выбороч- 


ного коэффициента Я (т) ит. д. 
Спрашивается, как сильно могут отклоняться от нуля вы- 


борочные значения коэффициента конкордации Я (т) в ситу- 
ации, когда значение теоретического коэффициента конкорда- 
ции У (т) свидетельствует о полном отсутствии ранговой свя- 
зи между анализируемыми переменными х(), х(?),..., х(т) ? 
Для малых значений тип (2 < т<20, 3<п< 7) ответ на 
этот вопрос может быть получен с помощью табл. П. Ша. 
Обозначенная в ней величина 5 есть не что иное, как 


п т®т 2 


«Входами» в табл. П.1]а является тройка чисел (т, п, 5). 
«Выходом» — вероятность того, что величина 5 может быть 
такой, какой она является в нашей выборке, или большей в 
условиях отсутствия связи переменных в генеральной совокуп- 
ности. Если окажется, что эта вероятность меньше принятой 
нами величины уровня значимости критерия & (например, 
= 0,05), то гипотезу об отсутствии связи следует отвергнуть, 
т. е. признать статистическую значимость анализируемой свя- 
зи. Табл. [1.116 построена несколько иначе. В ней при уровне 
значимости & = 0,05 и в соответствии с «входами» (т, п) 
даны «критические» значения величины 5, т. е. такие значе- 
ния, при превышении которых следует отвергать гипотезу 
об отсутствии связей (признавать их статистическую значи- 
мость). 

При я >7 для проверки статистической значимости ана- 
лизируемой связи следует воспользоваться фактом прибли- 
женной %? (п — 1)-распределенности величины т (п — 1) Хх 

ра 


х И (т), справедливым в условиях отсутствия связи в гене- 


^^ 
ральной совокупности (Й (т), как и прежде, подсчитывается 
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по формуле (2.16) или (2.16’)). Поэтому, если окажется, что 


т(п—1) (т) > 2 "-—1, (2.18) 


то гипотеза об отсутствии ранговой связи между переменными 


хи), хе), ..., х“т должна быть отвергнута (с уровнем зна- 
чимости критерия, равным @); в (2.18) величина ха (п — 1)— 
это 100%%-ная точка х?-распределения с (п — 1)-й степенью 
свободы (см. табл. П.4). 

Можно использовать и другой способ проверки статисти- 
ческой значимости исследуемой ранговой связи между не- 
сколькими переменными, основанный на том, что в условиях 
отсутствия таковой в генеральной совокупности распределение 


Е у. (7—1). (т) 

случайной величины = Ш———— 
2 1— (т) 

вается (-распределением Фишера с числом степеней свободы 


2 
числителя у, = п — |1 —- и знаменателя %› = (т — 1) м, 


приближенно описы- 


(при большом числе объединенных рангов или значительной 
их протяженности в расчет \, и %, следует ввести поправку, 
см. [67, гл. 6]). 

Строгих рекомендаций по построению доверительных ин- 

тервалов для истинного значения Й в условиях наличия ран- 
говых связей в исследуемой генеральной совокупности к на- 
стоящему времени не имеется. 
2.3.3. Использование коэффициента конкордации в решении 
основных задач статистического анализа ранговых связей. 
Наметим некоторые подходы к решению описанных в п. 2.1.3 
задач А, В и С, опирающиеся на понятие коэффициента кон- 
кордации. 

Задача А. При анализе структуры имеющейся сово- 
купности упорядочений (или структуры связей между иссле- 
дуемыми порядковыми переменными) существенную пользу 
может принести решение следующей задачи: найти разбиение 
анализируемого набора порядковых переменных х“°), х@), ..., 

‚ ХФ) на заданное число { непересекающихся групп, опти- 


— | — 
мальное в смысле максимизации критерия @ (1 = - ЦИ, + 


-И.-... - УП, где №); — коэффициент конкордации, под- 


считанный по переменным, входящим в /-ю группу. Задаваясь 
различными значениями { == 2, 3, ..., & (Ь < р) и прослеживая 


характер изменения №) в зависимости от Ё, можно добить- 


ся успеха в выявлении групп высококоррелированных пере- 
менных 
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Задача В. В приложениях, особенно при статистиче- 
ском анализе совокупности экспертных мнений (представ- 
ленных в виде ранжировок), существенным оказывается 
вопрос упорядочения самих переменных (интерпретируе- 
мых, например, в качестве экспертов) по степени их корре- 
лированности со всеми остальными переменными или 
с какой-то их частью (представляющей, например, основ- 
ное ядро высококоррелированных переменных). Для ре- 
шения этой задачи может быть предложена следующая 
процедура. 


Пусть М (р 1— [хо х0э... х®) — коэффициент кон- 
кордации, подсчитанный по всем рассматриваемым перемен- 
ным х(°), х(,..., х() за исключением переменных х‘*), ..., х1®. 
Варьируя состав группы исключенных переменных, мы полу- 


-—^— 
чим С;,, различных значений № (р | 1 — *). Последова- 
тельно вычислим значения всех этих коэффициентов для 
Е = 0, 1, 2,..., Е, и упорядочим их (при каждом фиксирован- 
ном Е) в соответствии с убыванием их значений. Получим: 


ИИ: 
у (р[х)) > № (р х9) >... 2 (рх Гр+1)); 


(р 1[ 49, хо) > У (р хч, хи) > М (р 
— 11х94), х( 19); Г. = Ср. 


Эти упорядочения (на каждом «этаже») и дают нам одно- 
временно ранжировки самих переменных (по одной, 10 паре, 
по тройке ит. д.) по степени их согласованности с остальными 
переменными: очевидно, ту переменную (или ту пару, трой- 
ку ит. д. переменных), выбрасывание которой приводит к 
максимальному значению меры согласованности по осталь- 
ным переменным, естественно объявить наименее связанной 
(согласующейся) с остальными переменными. Это правило, 
в частности, было с успехом использовано при обработке экс- 
пертных мнений в работе, описанной в [11,55.1]. 


— 
Задача С. Если коэффициент Й (т) свидетельству- 
ет о наличии статистически значимой связи между анализи- 
| 
руемыми показателями х(, х(#), ..., х“т), то представляет 
интерес задача построения оценки неизвестной «истинной» 


упорядоченности Х"т рассматриваемых объектов. Эта оцен- 
ка должна быть, по-видимому, результатом некоторого агре- 
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гирования имеющихся ранжировок Х“), Х“, ..., Х“т. 


Для формирования Х“<т) чаще других используют один из 
трех следующих приемов: 


а) компоненты Х‘<т) определяются в результате сравне- 
ния сумм рангов, приписываемых каждому объекту упорядо- 
(А 
чениями Х“), Хх“), ..., Х т. 


6) компоненты Х (т) определяются в результате сравне- 
ния выборочных медиан рангов, приписываемых каждому 
объекту анализируемыми упорядочениями; 


в) «присуждение» мест объектам в упорядочении Хит) 
основано на «большинстве голосов», поданных за данный объект 


Ё 
в ранжировках Х“%, ..., Х“т? за то или иное место; на- 


пример, больше других первых мест в анализируемых ранжи- 
ровках получил объект О, тогда ему и присуждается ранг 1 


— 
в ранжировке Х (ст) и т. д. 
2.3.4. Примеры. Рассмотрим примеры, в которых реализуют- 
ся приведенные выше рекомендации по статистическому ана- 
лизу множественных ранговых связей. 

Пример 2.3. Рассмотрим три порядковые перемен- 
ные (х(1), х(?), х(3)) и соответствующие им упорядочения де- 
сяти объектов: 


ха)’ р |451 2 4,5 3 7,5 6 9 7,5 10 
Х(2)° | 25| 1 |251 45 | 45 8 9165 | 10 6,5 
Х(3)' 2 | 45| 45 | 45 | 45 8 8 8 10 


9 


20 


Сумма | 5,5 | 6,5 23 | 23,5 | 25,5 | 26,5 


13,5 | 12 


В соответствии с формулами (2.18), (2.4) имеем: 


3 2 
$ = у [У аи. =(— 11) (— 10) -- (— 7,5 


-- (— 3) + (— 4,5) -{ (3,5) - (6,5) -| 7* -{ 9*-- 10*= 591; 


т =-.(2—2).2=1; 

т = —— (2 —2).3= 1,5; 
ТЗ) == (4—4 + 33—3) =7. 
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Следовательно, в соответствии с (2.16’) 


(3) — 591 — 591 


—-—-—-`.0,828. 
742. 5—28,5 


го 32.(10°— 10) —3 (151,5 -Е7) 

Пример 2.4. Требуется проверить статистическую зна- 
чимость множественной ранговой связи 28 переменных (т == 
—= 28), характеризуемой величиной выборочного коэффициен- 


та конкордации У (28) = 0,08, подсчитанного по 13 объек- 
там (п = 13). 
Воспользуемся фактом 9? (12)-распределенности случай- 


ной величины т (п — 1) И (т), который имеет место \при- 
ближенно) в случае, если в исследуемой генеральной совокуп- 
ности множественная ранговая связь отсутствует. Тогда кри- 
терий сводится к проверке неравенства (2.18). Задавшись уров- 
нем значимости критерия & = 0,05, находим из табл. П.4 
значение 5%-ной точки у?-распределения с 12 степенями сво- 


боды Хо (12) = 21,026. В то же время т (п — 1) й (т) = 
—= 28.12.0,08 = 27. 


Поскольку т (п — 1) И (т) > %Х6ъь (12), то оказалось, 
что даже такого маленького числа, как 0,08, «хватило» для 
того, чтобы объявить связь между 28 исследуемыми перемен- 
ными статистически значимой. 


ВЫВОДЫ 


1. Анализ статистических связей между порядковыми пере- 
менными сводится к статистическому анализу различных упо- 
рядочений (ранжировок) одного и того же конечного множест- 
ва объектов и осуществляется с помощью методов ранговой 
корреляции. В зависимости от типа изучаемой ситуации (шка- 
ла измерения анализируемого свойства не известна исследо- 
вателю или отсутствует вовсе; существуют косвенные или ча- 
стные количественные показатели, в соответствии со значе- 
ниями которых можно определять место каждого объекта в 
общем ряду всех объектов, упорядоченных по анализируемому 
основному свойству) процесс упорядочения объектов произво- 
дится либо с привлечением экспертов, либо формализованно — 
с помощью перехода от исходного ряда наблюдений косвен- 
ного количественного признака к соответствующему вариа- 
ционному ряду. 

2. Исходные статистические данные для проведения ранго- 
вого корреляционного анализа представлены таблицей (ма- 
трицей) рангов статистически обследованных объектов разме- 
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рал Хх (р - 1) (Зисло объектов на число анализируемых пе- 
ременных). При формировании матрицы рангов допускаются 
случаи неразличимости двух или нескольких объектов по изу- 
чаемому свойству («объединенные» ранги). 

3. К основным задачам теории и практики ранговой корреля- 
ции относятся: анализ структуры исследуемой совокупности 
упорядочений (задача А); анализ интегральной (совокупной) 
согласованности рассматриваемых переменных и их условная 
ранжировка по критерию степени тесноты связи каждой из 
них со всеми остальными переменными (задача В); построение 
единого группового упорядочения объектов на основе имею- 
щейся совокупности согласованных упорядочений (задача С). 
4. Статистический анализ взаимосвязей порядковых перемен- 
ных строится на базе различных вариантов моделей вероятност- 
ного пространства, в котором роль пространства элементар- 
ных исходов играет множество всех возможных перестановок 
из п элементов (п — число статистически обследованных 
объектов). 

5. В качестве основных характеристик парной статистической 
связи между упорядочениями используются ранговые коэф- 
фициенты корреляции Спирмэна тб) и Кендалла т(К) (см. 
формулы (2.3)—(2.8)). Значения этих коэффициентов меняют- 
ся в диапазоне от —] до 1, причем экстремальные значения 
характеризуют связь соответственно пары прямо противопо- 
ложных и пары совпадающих упорядочений, а нулевое зна- 
чение рангового коэффициента корреляции получается при 
полном отсутствии статистической связи между анализируе- 
мыми порядковыми переменными. 

6. В качестве основной характеристики статистической свя- 
зи между несколькими (т) порядковыми переменными исполь- 
зуется так называемый коэффициент конкордации (согласо- 
ванности) Кендалла Я (т), определяемый формулами (2.16)— 
(2.16’). Между значением этого коэффициента и значениями 
парных ранговых коэффициентов Спирмэна, построенных для 
каждой пары анализируемых переменных, существуют про- 
стые соотношения (см. (2.17), (2.17’)). 

7. Если представить себе, что каждому объекту некоторой до- 
статочно большой гипотетической совокупности (будем назы- 
вать ее генеральной совокупностью) приписан какой-то ранг по 
каждой из рассматриваемых переменных и что статистическому 
обследованию подлежит лишь часть этих объектов (выборка 
объема п), то достоверность и практическая' ценность выводов, 
основанных на анализе ранговой корреляции, существенно за- 
висят от следующего вопроса: как ведут себя выборочные зна- 
чения интересующих нас ранговых корреляционных характе. 
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ристик при повторениях выборок заданного объема, извлечен- 
ных из этой генеральной совокупности. Это и составляет 
предмет исследования статистических свойств выборочных 
ранговых характеристик связи. Результаты этого исследова- 
ния относятся прежде всего к построению правил проверки 
статистической значимости анализируемой связи и к построе- 
нию доверительных интервалов для неизвестных значений ко- 
эффициентов связи, характеризующих всю ‘генеральную сово- 
купность (см. п. 2.2.4, 2.3.2). 

8. Парные и множественные характеристики ранговой кор- 
реляции являются удобным инструментом решения основных 
задач (см. задачи А, ВиСвп. 2.1.3) статистического анализа 
связей между порядковыми переменными (см. п. 2.3.3 и при- 
меры 2.1—2.4). 


Глава 3. АНАЛИЗ СВЯЗЕЙ МЕЖДУ 
КЛАССИФИКАЦИОННЫМИ (НОМИНАЛЬНЫМИ) 
ПЕРЕМЕННЫМИ 


3.1. Таблицы сопряженности 


Ограничимся рассмотрением таблиц с двусторонней груп- 
пировкой. Для них сформулированы основные гипотезы и ука- 
заны методы их проверки, описана логарифмически-линейная 
параметризация, приведены различные меры зависимости меж- 
ду строками и столбцами таблицы. Вводятся понятия энтро- 
пии случайной величины и информации, содержащейся в од- 
ной случайной величине относительно другой случайной ве- 
личины, представляющие самостоятельный интерес. 

Методы изучения таблиц с тремя и более входами можно 
найти в [23, 75, 154, 168, 199, 238]. 
3.1.1. Три основные выборочные схемы, приводящие к табли- 
цам сопряженности. Схема [Г возникает в случае, когда рас- 
пределения строк (хат, ..., Хг/) [= 1, ..., Г (столбцов) табли- 


цы можно рассматривать Как независимые выборки ИЗ ПОЛИ- 
У 


номиальных распределений с вероятностями 4;; У а;; = 1 
[= 
и фиксированным числом наблюдений п; = У х;;. Такая ор- 


] 
ганизация данных обычно возникает, когда хотят сравнить 


между собою несколько одномерных распределений, представ- 
ленных выборками заранее заданного объема. Наиболее важ- 
ная гипотеза для первой схемы 


Но: 9; =9.Г где 9.1 == №9 (3.1) 


[ 
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Гипотезу Н, называют гипотезой однородности (см. [14, 
п. 1.1.3 и 11.2]. 


Схема ГГ. Предполагается, что (хи, Хло, ..., Х,,) имеют 


полиномиальное распределение с вероятностями (рат, 
.... Ру) и фиксированным числом наблюдений п = Ух,,. 

,] 
Таблица сопряженности в этом случае является обычной дву- 
мерной гистограммой для п наблюдений, а аналогом (3.1) — 
гипотеза 


НИ: р;;=р:.р.ь (3.2) 


где р:. = Ури ир.; = » р.,. Если воспользоваться опре- 
] : 


делением условной вероятности [14, п. 4.1.3], то Р {попасть 
в клетку (1, /)| быть в ряду {#} = Р {быть в столбие Д. По- 
этому гипотезу НИ называют гипотезой независимости. 

Схема ГИ возникает, когда в схеме | общее число на- 
блюдений рассматривается как случайная величина. Ее важ- 
ным частным случаем является случай, когда п имеет распре- 
деление Пуассона. В этом случае все х;; независимы между со- 
бою и также имеют распределение Пуассона с параметрами 
^:;. Аналогом (3.1), (3.2) является гипотеза 


Ноу А. А.И... (3.3) 
где Л;. = МА, Ар = ЛЬ и А..= УЛ. Гипотезу НИ! 
/ Е 


:, 

называют мультипликативной пуассоновской моделью, или, 
короче, гипотезой мультипликативности. В качестве примера 
схемы ПГ может быть рассмотрена следующая задача. Пусть 
х;; — число дорожно-транспортных происшествий, зареги- 
стрированных в какой-либо местности в {-й день на дорогах 
го типа. Параметры А;; в этом случае отражают ожидаемое 
число дорожно-транспортных происшествий. Если использо- 
вание транспортом дорог разного типа существенно зависит от 
дня недели, то гипотеза НИ!, вероятно, не верна. Однако она 
может иметь место, если, например, рассматривать только ра- 
бочие дни. 

Существует приближенный графический тест для провер- 
ки гипотезы НЁИ [154]. Он заключается в том, что для каждо- 


го | =|,..., / строится график, в котором по оси абсцисс от- 
кладываются точки х;. = Ух;,, а по оси ординат — х;,. Ес- 
] 


ли гипотеза НИ? верна, то нанесенные точки должны группи- 
роваться вокруг линии, проходящей через начало координат 
с наклоном А.,/^.... Вероятность выхода заданной точки за 
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^., ЛХ. 
пределы -+ 2 (= `(1 —^ № не более 0,05. Использо- 


вание такого ,рафизеукого представления позволяет сразу же 
локализовать пары (7, 7), в которых происходит значимое от- 
клонение от НИ. 

Можно доказать, что если в схеме 1Ш зафиксировать 


х.. = п, то она переходит в схему П ср;; = А:„^... При 
этом На! переходит в НИ. Аналогично, если зафиксировать 
в схеме П суммы х;; по рядам, положив п; = Ули), ..., Пр = 


1 
= Ухи, то схема П переходит в схему Гс 9:; = р:/р.., а 


] 
НИ в Н}. Поэтому следует ожидать, что в математической 
трактовке схем Г, П, ПТ должно быть много общего. 
3.1.2. Логарифмически-линейная. параметризация таблиц со- 
пряженности. Для любой из описанных выше моделей положим 


ви = Ех; = ехр {040 - 05 + 082+ 0}, (3.4) 
или 
щ;; = 1 ый = 00) -|- 077? -- 0:2? -- 0; =? (3.4') 


В данном случае мы несколько отступаем от принятых 
в книге обозначений, так как индексы сверху 0 означают век- 
торы, а индексы снизу — их координаты. 

Параметры должны удовлетворять ограничениям 


501 = 20° = 20’ = 5,0’ =0. (3.5) 


7 1 


Так же, как в дисперсионном анализе (см. $ 13.3), величи- 
ны 0/1?’ называют взаимодействиями, 9? — эффектами строк, 
0{*> — эффектами столбцов и 0©) — общим эффектом. 

При ограничениях (3.5) модель (3.4) имеет ровно /./ не- 
зависимых параметров, так как всего имеется одно значение 
09°), (Г — 1) независимых 07», (7 — 1) независимых 09° и 
(Г — 1) (7 — 1) независимых 072, 

Из (3.4) и (3.5) следует, что 


917* — р:— ра — Ир Е р (3.6) 
0:17 — р: — М, (3.7) 
01° = р; — Мы; (3.8) 
0107 — р, (3.9) 


где ри» = ХЛ, ау = ШИР ин = див. 
1 : , 
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В новых обозначениях гипотезы И, НИ и НИ! перехо- 
дят в гипотезу 


НИ*: 0;1*? =0 для всех фи ]. (3.10) 


Оценки максимального правдоподобия для параметров по- 
лучаются из формул (3.6)—(3.9) путем замены в них й;; на 
т;; = шлхь,. Если все х;; = 0, то оценки максимального прав- 
доподобия всегда существуют. Для того чтобы снять пробле- 
му существования оценок в общем случае, когда есть х;; = 0, 
положим для всех {, | т;; = ш (хх; с), где 0 <с<1. 
Асимптотические (при п — со) свойства новых оценок будут 
такие же, как и у оценок максимального правдоподобия. 
3.1.3. Проверка гипотез Н!, НИ, НШ. В [14, п. 11.2.2] 
описано применение критерия )? для проверки однородности 
нескольких рядов распределений (гипотеза Н1 в ‘схеме Г). 
В обозначениях настоящего параграфа использованная для 
этой цели статистика имеет вид 


2_ (:) — Х.1 1.11) _ ый __ 
ти =и ХХ. ||. (3.11) 


й 


В случае когда Н! имеет место, Х? приближенно распределе- 
но как у? ((/ — 1) (7 — 1)). Этот же критерий можно исполь- 
зовать для проверки гипотез НИ и НИ!. 

Наряду с критерием Х*? для проверки этих гипотез приме- 
няют информационную статистику 


2п Г== (5 Хх, — Ха. ша, - 
г | 
— Ух шаху х. к.) (3.12) 
7 


которая при выполнении гипотезы о независимости или одно- 
родности при п — со асимптотически так же распределена, 
как 7? ((7 — 1) (7 — 1)). Когда в таблице одна или несколько 
клеток содержат нули, рекомендуется применять поправку: 


для каждого нуля отнимать из величины 2п/ единицу!. Кри- 


терий 2п/ легко получить из общих принципов проверки слож- 
ной гипотезы [14, п. 9.3.3]. В самом деле, 


— 2 т {Ё (ха, ... хы: 0%), 0®, 012 -- 0). (хи, ..., хи; 
90), 92), 02} 


1См.: Закс Л. Статистическое оценивание. — М.: Статистика, 
1976, с. 445. 
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равняется правой части (3.12), а гипотеза Ни? накладывает 
ограничения на (/ — |1) (/ — 1) параметров. Большие рас- 


— 
хождения между критериями Х? и 21/ на практике наблюда 
ются редко. 

Особое значение информационной статистики заключает- 
ся в том, что для таблиц с многосторонней группировкой она 
может быть разложена на аддитивные составляющие, соответст- 
вующие различным гипотезам. При этом может быть построе- 
на теория, во многом параллельная дисперсионному анализу 
(см. гл. 13). 

3.1.4. Меры связи между строками и столбцами таблицы. 
Если связь, обнаруживающаяся при проверке гипотез неза- 
висимости или однородности, оказывается значимой, то по- 
лезно иметь численную меру ее. Хотя величина Х? дает нам 
удобный критерий значимости связи, она не может служить 
мерой связи. Так, если оставить неизменными все относи- 
тельные величины в таблице и увеличивать общее число из- 
мерений п, то величина Х? будет расти пропорционально п. 
Предложено много различных мер связи [23], но наиболее из- 
вестными среди них являются меры, основанные на отноше- 
нии Х?/п: 

ф = (Х?/п)!/2 — квадратный корень из среднего квадрата, со- 
пряженности; 

С = [Х*/(Х? - п)! /2 — коэффициент сопряженности; 

Т = [ХзмУ ((— 1 (— 1/2 — мера связи Чупрова. 

Наряду с ними практический интерес представляют ин- 
формационные меры связи. Прежде чем переходить к ним, вве- 
дем понятие энтропии случайной величины и информации, со- 
держащейся в одной случайной величине относительно дру- 
гой случайной величины. 

Пусть случайная величина & принимает конечное число 


значений х; (1 = 1,..., Е) с вероятностями, соответственно рав- 
ными р+(х;), тогда 
Н®- — Хр) тр) = —Е тре) (3.13) 


чазывают энтропией & и рассматривают в качестве меры не- 
определенности &. Энтропия обладает следующими свойствами: 
1) Н (& >0, причем равенство достигается тогда и только 
тогда, когда & принимает только одно значение; 

2) Н (&) не меняется при взаимно-однозначных преобразо- 
ваниях &; 

3) Н (Е) максимально, когда все возможные значения Ё рав- 
новероятны. 
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По аналогии с Н (ЕЁ) определяются энтропия распределе- 
ния пары случайных величин и условная энтропия: 


Н (Е, 1) = — 2, п (Х, У) 1 ра, п (х, у) = —Е1п рь, в (Е, 1); 
Н (&19) = Хр Н ту) = — Хр (9) Хр т= 


= и) 11 ра (х [п = У). 


Основные свойства Н (м): 

ИН (Е, Э=нН (5; 

2) Н (5, 1) = ПН (5) +Н (15; 

3) Н (Е, чт) < Н (® -Н (1), причем равенство достигает- 

ся тогда и только тогда, когда & ит статистически независимы. 

Основные свойства Н (Ем): 

ИН (89) = 0; 

2) Н (Ем) <Н (&), причем равенство достигается тогда 

и только тогда, когда & и т статистически независимы. 
Информационная мера зависимости & и \ определяется 

как 


Г (5, м) = ЯН (5) + Н (п) —Н (5, 1). (3.14) 


Про Г (Е, м) говорят, что она измеряет количество информа- 
ции в & относительно 1 или количество информации вт от- 
носительно &. Основные свойства / (&, |) легко следуют из 
свойств Н (ЕЁ, "): 

1) (Е, >20, причем равенство достигается тогда и только 
тогда, когда & и | статистически независимы; 
2) ТЕ, = Н(®. 

При анализе таблиц сопряженности используют направлен- 

ные меры связи: 


Сет == Г (Е, М)/Н (8); (3.15) 
Сии& = Г (Е, 1) /Н (м). (3.15°) 


Коэффициенты С заключены в пределах между О и | и по 
своим свойствам во многом аналогичны обычным коэффициен- 
там корреляции. Они равны нулю, когда переменные & ит 
статистически независимы; Сё|т равно 1, когда & однозначно 
определяется по 1; они не меняются при взаимно-однознач- 
ных преобразованиях переменных. 

Пример 3.1. Пусть взаимное распределение Ё& ит 
задано с помощью табл. 3.1. 

Тогда Н (Е, 1) -= 1,06; Н (&) = 0,77; Н (9) = 1,06; Г (Е, 
1) = 0,77; См = 1; Спи = 0,73. 
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Таблица 3.1 


т 
5 | Р 

| 0 1 2 

0 0,40 0,20 | 0 0, 60 

| 0 | 0 0,40 0,40 
| 

Ру | 0,40 0,20 0.40 

3.2. Приписывание численных значений 


качественным переменным 
(дуальное шкалирование) 


3.2.1. Методическое место дуального шкалирования. Наряду 
со статистическими методами, изложенными в предыдущем 
параграфе, в работе с таблицами сопряженности может быть 
использован принципиально отличный подход. Градациям пе- 
ременных, измеренных в общем случае в шкалах наименова- 
ний, приписываются Численные значения так, чтобы достиг 
своего экстремума определенный функционал. Далее с новы- 
ми переменными работают как с переменными, измеренными 
в качественных шкалах. В целом этот подход, который мы, 
следуя предложенному в [232], будем называть дуальным 
шкалированием (4ца|! зсапй), по своему методическому со- 
держанию ближе к анализу данных, чем к традиционным ста- 
тистическим методам. В нем не формулируется математиче- 
ская модель распределения исходных данных, предлагаемые 
статистические критерии носят, вообще говоря, эвристический 
характер, но зато четко и наглядно формулируется принцип 
приписывания численных значений. 

Дуальное шкалирование за последние 59 лет открывалось 
и переоткрывалось независимо разными исследователями ни 
известно под различными названиями: «метод взаимных усред- 
нений» ({Не шепо4 оЁ гес1ргоса] ауегарез) [210, 246], ‹аддитив- 
ное или оптимальное шкалирование» (а@АаШуе ог орИта!| 
$сог1в) [183], «метод максимизации коэффициента корреля- 
ции» (Б1уагаёе согге]а Мои арргоасП) [198, 230], «взвешивание 
по Гутману» (диЁтап ме пе) [169], «анализ главных ком- 
понент качественных данных» (рипс!ра| сотропепё апа[уз1$ 
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о{ ЧцаШЩайуе Ча а), «одновременная линейная регрессия- 
(ятиЦапеоц$ Ппеаг гертез$1оп) [203]. С точки зрения исполь- 
зуемого алгебраического аппарата к дуальному шкалирова- 
нию примыкают современные методы визуализации таблич- 
ных данных: «биплот» (51р1оё) [17П, «(факторный) анализ 
соответствий» (соггезроп4дапсе (ас{ог) апа1уз$15) [165, 166], 
хотя их целевая направленность шире задачи оцифровки зна- 
чений переменных. 

Широкое использование при обработке данных ЭВМ сде- 
лало дуальное шкалирование одним из основных инструмен- 
тов первичного анализа данных. Этим объясняется возрожде- 
ние внимания к нему в начале 70-х годов. Основные публика- 
ции, последних лет по дуальному шкалированию — [222, 
224, 232, 247]. Вычислительные программы могут быть найде- 
ны в [169] и [232]. 

Сопоставление различных подходов к выбору оптимизи- 
руемого функционала в дуальном шкалировании позволяет 
глубже понять заложенные в методе возможности. Поэтому 
в дальнейшем сформулируем несколько различных принци- 
пов приписывания численных значений и покажем, что все 
они ведут к одному и тому же результату. 

3.2.2. Максимизация Е-отношения суммы квадратов отклоне- 
ний между объектами к полной сумме квадратов отклоне- 
ний. Изложение начнем с гипотетического численного приме- 
ра. Предположим, что 10 экспертов произвели оценку органи- 
зации труда в четырех лабораториях. Эксперты могли исполь- 
зовать лишь три категории оценок: хорошо, удовлетворитель- 
но, неудовлетворительно, и один из экспертов оценивал лишь 
первые три лаборатории. Пусть полученные данные представ- 
лены в виде таблицы сопряженности Х, в которой х;; означа- 


ет число оценок градации |, полученных 1-й лабораторией 
(табл. 3.2). 


Таблица 3.2 


Оценка (7) 
Порядковый номер Итого 
лаборатории (1) хорошо удовлетво- неудовлетво- (х; .) 
| 1 3 6 10 
2 2 4 4 10 
3 3 5 2 10 
4 6 3 0 9 
Итого х.; | 12 15 | 12 Х..=39 
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Припишем численные значения оценкам: и: — хорошо, 
и. — удовлетворительно, из — неудовлетворителено. Тогла на- 
бранные лабораториями оценки можно представить в виде 
односторонней таблицы дисперсионного анализа (см. гл. 13), 
в которой СК, — полная сумма квадратов отклонений, 
СК» — сумма квадратов отклонений между лабораториями 
и СК»; — сумма квадратов отклонений внутри лабораторий 
(табл. 3.3): 


Таблица 3.3 


Порядковый 


номер лабо- Оценки (%;;) Итого (=;.) 
ратории (1) 
| 91, 92, 2, 92, 9з, 93, Оз, Из, Из, 9з о |- 302 |- би; =ил. 
2 о1, о, 9, 9, 9, 0, Оз, Оз, ОЗ, Оз 291 495 -- 403 =. 
3 1, 1, 1, 02, 92, 92, 92, 92, 3, 03 | За -- 59. 203 =. 
4 91, 91, 91, 91, 91, 91, 92, 02, 92 бо, -|- 302 =. 
Итого 120; +1502 -- 1203 = 
=... -- из... = 
—=щ.. 
0. х ‚ =12- 15+ 12 =39; 4. СКк == (2) — (1); 
2. \ Уи = 120 1508 1203; 6. СКвы = (2) — (3). 


: ] 


3. У! (шг. (хЕ. = ш?.[10-- 


1 


-- 3 ./10--ш?. /10-- 2. /9; 


Величину 1? = СКи/СК,„ будем называть корреляцион- 
ным отношением (согг@а оп га#1о). Поскольку СКи = СКы -- 
-- СКьн, ТО 0 < 1? < 1. 

Если и: = 5 = и; = соп$, то СКи = СК» = СК, = 0 
и 1? не определено. Исключим этот неинтересный случай и 
подберем численные значения 9; так, чтобы оптимизировать 
\*. Полагая для однозначности Ш. = 0, и >0, СК; = 39 
и временно опуская детали вычислений, имеем 
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1 1,234 


Трах = 0,292; У = и | = 0,064 т, 
03 — 1,313 
| О ‘и. [Ха. 1,194 
и = 92 || 6. /%. } — —0,468 | (3.16) 
3 Фз./Хз. 0,258 
м, Ф,. /Хь. 1,560 


Таким образом, нами одновременно решены следующие 
задачи: 1} приписаны численные значения {9;} градациям оце- 
нок, которыми пользовались эксперты; 2) оценена в услов- 
ных единицах (баллах) {ю,} организация труда в лаборато- 
риях; 3) оптимизировано корреляционное отношение (1:). 

Дадим общую формулировку принципа, по которому при- 
писываются численные значения, и опишем соответствующую 
вычислительную процедуру. 

Матричная формулировка основного принципа оптимиза- 
ции. Пусть Х — (т Хх п)-матрица таблицы сопряженности; 


А = (х1., ..., хп.) — (т ох ПШ-вектор сумм элементов Х по 
строкам; В = (х.1, ..., Х.,)”— (п Хх Ю-вектор сумм элемен- 
тов Х по столбцам; х.. — общая сумма элементов Х; 

№1. 0 Ха 0 
\ — °. , у =— °. —- 
(тх т) " (пхп) | 

0 Хт. 0 ^.п 
вспомогательные диагональные матрицы; У = (%, ..., 9%) — 
(т х Ю-вектор численных значений, приписанных строкам; 
У = (“, ..., и) — (тх 1-вектор численных значений, 
приписанных столбцам; & = Уш.х;./х.. = А’У/х.. = В'У/ 

7 

/х.. — общее среднее значение. В нашем примере т = 4, 


п = 3, Х определяется по табл. 3.2; А = (10, 10, 10, 9); В = 
== (12,15, 12); х.. = 39; 


10000 


0 10 00 оо 

\! = У=| 015 0; 
0010 012 
оо 09, 


векторы У, № определяются из (3.16); ш = 0. 
При сделанных предположениях (ср. с табл. 3.3) 


СК, = У’ МУ, СК. У’ Х' М-1ХИ, (3.17) 
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откуда 


12 =” Х' \-1ХУЛ/' УУ (3.18) 
при условии, что 
В'У=Уу'В=0. (3.19) 


Оптимизация величины 1?. Поскольку уравнениями (3.18) 
и (3.19) У определяется с точностью до постоянного множи- 
теля, положим для определенности 


УМУ =... (3.20) 


Будем искать максимум числителя (3.18) при ограничениях 
(3.19) и (3.20) методом множителей Лагранжа. Пусть О (У) = 
= У’Х’ \У-1ХУ —\ (У’УУ —х..) —^.УВ, тогда для на- 
хождения У должны быть решены уравнения 


д0/дУ = 2 [Х'’М-ЕХТ У — 2.УУ — А.В = 0; (3.21) 
д0/0\ = У'УМУ —х.. = 0; (3.29) 
до/дх, = У'В = 0. (3.23) 


Умножим (3.21) слева на У’ и, воспользовавшись уравне- 
нием (3.23), получаем с учетом (3.18), что 
а = У’Х” М-ХУЛУУ = т’. 

Для оценки величины А», умножим (3.21) слева на 1, = 


= (1,..., 1)’ и воспользуемся легко проверяемыми равенства- 
ми 

11 Х’М-1Х =А’М-1Х 1 М--МХ = 1 Х= В’. 

1.У=рВ’. (3.24) 


В силу (3.19) отсюда следует, что ^., = 0. Уравнения (3.21} 
могут теперь быть представлены в виде 


(У-: Хх! М-+Х фт Пу = 0; (3.25) 
таким образом, 1? должно быть собственным значением урав- 


нения (3.25). Поскольку легче работать с симметричными ма- 
трицами, произведем замену переменных, положив 


— 


У = \!/?2У. (3.26) 
Уравнения (3.21)—(3.23) при этом перепишутся в виде 
(У-1/2Х' \-1ХУ-1/2 120 У=0; (3.21') 
УИ =х.: (3.29’) 
У’ \!/21, =0. (3.23°) 
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По аналогии с цепочкой уравнений (3.24) непосредственно, 


проверяется, что вектор У, = \!/?1, является собственным 
вектором (3.21’), отвечающим собственному числу 1? = 1 
удовлетворяет (3.22’) и не удовлетворяет (3.23'’). Отсюда 
следует, что искомое 1? будет вторым по порядку после 1 


собственным числом (3.21’), а вектор У — соответствующим 
ему собственным вектором. При этом будет выполнено и усло- 
вие (3.23’), так как собственные векторы, отвечающие разным 
числам, взаимно перпендикулярны. 

С помощью стандартной алгебраической процедуры [102, 
гл. 5] можно исключить из матрицы В = \У-!/2 Х’ \!—1ХУ-!/?2 
собственное число 1? = 1. Для этого В достаточно заменить 
на 


С=В—\!/2 1..1 Ух. (3.27) 


Нахождение максимального собственного числа и соот- 
ветствующего ему собственного вектора уравнения (С 21 Х 


х У = 0 проводится стандартными методами [102, гл. 4]. 
3.2.3. Двойственность в определении У и И. В примере пре- 
дыдущего пункта мы приписывали веса различным градациям 
оценок и получили баллы для лабораторий. При этом 


777 ц7—1/2 Хи лу—1 —1/2 57 
= зир  — УХ МУ (3.28) 


р 


У=у1/2 1, уу 


Однако аналогичную задачу мы могли бы решить в обрат- 
ном порядке, приписывая численные веса лабораториям так, 
чтобы максимизировать среднеквадратический разброс меж- 
ду средними баллами, соответствующими разным градациям 
оценок. При этом по аналогии мы получили бы 

у! — 1/2 — ищу — 1/2 17 
= з0р ОА, ХУ х м ИЖ 
Я 2 \!/21, 72 


(3.29) 


Если обозначить О = \У-!/2Х' \-1/2, то в формуле (3.28) 
11? является вторым по величине собственным числом матри- 
цы ОО’, ав (3.29) — вторым по величине собственным чис- 
лом О’О. Известно [102], что отличные от нуля собственные 
числа матриц ОО’ и О’Ю совпадают. Следовательно, совпа- 
дают и значения 1]?. 

Возьмем теперь вектор У;:, вычисленный как решение 
(3.21)—(3.23), и найдем вектор М, средних значений, припи- 
санных лабораториям 


у, = М-1ХИ.. (3.30) 
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Будем считать, что лабораториям приписаны численные 
значения, определяемые вектором Ш:, и вычислим средние 
баллы, которые получат градации оценок: 


У, = У-1 ХИ, =У-1Х'М-1ХИ.. (3.31) 


В силу (3.25) левая часть (3.31) есть ч?У\, т. е. векторы У. 
и У, пропорциональны. 


Продолжая, мы находим 
№. = М Ъ--ХУ, = М-1 ХУ, = М.. (3.32) 


Таким образом, безразлично, решим ли мы экстремальную 
задачу п. 3.2.2 для столбцов или строк, мы определим значе- 
чия У, М с точностью до множителя пропорциональности. 

На этом свойстве, а также на том, что 1? — максимальное 
собственное число, меньшее |, основан метод взаимных усред- 
нений. В нем выбирается значение У, (или №,) так, чтобы 
выполнялось соотношение (3.23), далее по формулам (3.30) 
и (3.31) находятся И, и У.. Вектор У. каким-либо образом 
нормируется, например умножается на величину, обратную 
максимальному абсолютному значению его координат. Процесс 
вычислений повторяется до тех пор, пока последовательные 
значения У не будут близки друг к другу. Условие (3.23) 
гарантирует, что у начального вектора У, нет составляющей, 
соответствующей 1? = |. Описанный итерационный процесс 
сходится тем быстрее, чем удачнее выбрано начальное прибли- 
жение. 

3.2.4. Максимизация коэффициента корреляции. Рассматри- 
вая матрицу Х в качестве выборки из двумерного распре- 
деления (У, И) идля простоты выкладок полагая В”У = А’ = 
=0, можно определить коэффициент корреляции между пере- 
менными как 

У'ХУ 


=—. 
УЙ’ МУ. У’ УИ 


(3.33) 


Будем теперь У и ® искать из условия максимизации зна- 


чения г. Для этого, так же как в 3.2.2, воспользуемся методом 
множителей Лагранжа. 


Пусть О (У, У) = ХУ — м (У’УУ —х..) —^, (’Х 


х МИ —х..), тогда уравнения для нахождения У и Я име- 
ЮТ ВИД: 


90/9 =Х’ И —2^, УУ = 0; (3.34) 
90/9 = ХУ — 2), \\ = 0: (3.35) 
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20/0, = У’ МУ—х..=0; (3.36) 
90/9^, = №’ МИ —х..=0. (3.37) 


Умножив слева (3.34) на У’, а (3.35) на №’ и воспользовав- 
пгись (3.36), (3.37), (3.33), имеем 


у’ Хх’ Я = 2^, у’ УУ = 2^, х.., 
И" ХИ = 24, №’ МУ —= 2х: 
У’ ХИ =гх... 


Откуда г = 2^, = 2А,. Воспользовавшись (3.35), (3.36), 
(3.37), заменим в уравнении для определения г У через У: 
И’ХУ 1 УХ’ М-+Хи 12 
Г —= ах —————————— — — ах ———— —. 
уу У’ МУ УИ гу И’ УИ г 


Таким образом, г? = 1? и У является собственным векто- 

ром (3.25), т. е. максимизация коэффициента корреляции при- 
водит к тем же численным значениям, что и изложенные вы- 
ше методы. 
3.2.5. Изучение оптимального решения. Когда найдено оп- 
тимальное решение (1, У, №), возникает вопрос, в какой 
степени оно исчерпывает информацию, содержащуюся в ис- 
ходных данных. Ведь у матрицы С (см. (3.27)) есть другие 
собственные значения и векторы. По аналогии с методом глав- 
ных компонент [14, 5 10.5] для ответа на этот вопрос будем ис- 
пользовать величину 


6 = 100% -щ"/Зр (©), (3.38) 


где эр (С) — сумма диагональных элементов С. 

В примере п. 3.2.2 6 = 92,3%, т. е. оптимальное решение 
(3.21'’)—(3.23’) объясняет существенную долю информации, 
содержащейся в табл. 3.2. 

Строго обоснованного теста для проверки значимости от- 
личия от нуля оптимального значения 1? нет. В [232] рекомен- 
дуется приближенный критерий 


Хх? = -х.. — 1 — ит — 1/21 1 — 12) (3.39) 


с числом степеней свободы } = т -- п — 3. В нашем случае 
Г=4 3—3 = 4, 


х2 = — [39 — 1 — (3+ 4 — 1)/2] 1 (1 — 0,299) = 12,10. 


Различие следует считать значимым с уровнем значимости 
0,017. 
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Для сравнения к тем же данным применим статистиче- 
ские критерии из $ 3.1. 

Традиционный критерий (3.11): Хз = 12,35 (= 6); уро- 
вень значимости связи между переменными — 0,055. 


Логлинейный подход (3.12): 2п! = 13,13 (с поправкой на 
нулевую ячейку), (Г = 6); уровень значимости связи между 
переменными — 0,041. 


Из приведенных данных видно, что в рассмотренном при 
мере с точки зрения оценки статистической значимости свя- 
зи между строками и столбцами традиционный и логлинейный 
подходы к таблицам сопряженности, с одной стороны, и дуаль- 
ное шкалирование, с другой стороны, дают сравнительно близ- 
кие результаты. Однако в общем случае связь между этими 
двумя методами пока достаточно не изучена [232, с. 181. 
3.2.6. Таблицы «объект — многомерный отклик». Исходные 
данные для дву-, трех- и более мерных таблиц сопряженности 
часто могут.быть представлены в форме таблицы, в которой 
строки соответствуют объектам (субъектам), столбцы — гра- 
дациям используемых классификацнонных переменных и на 
пересечении 1-й строки и столбца, соответствующего /-й гра- 
дации [/-й переменной, стоит | или 0 в зависимости от того, 
имеет ли место для 1-го объекта эта градация (1) или нет (0). 
В случае когда для ряда объектов значения одной из перемен- 
ных не определены (измерены в непредусмотренной шкале, 
не измерены, утрачены при обработке и т. п.), либо исклю- 
чают из таблицы соответствующие объекты, либо вводят для 
этой переменной дополнительную градацию «значение не опре- 
делено». Пример фрагмента таблицы, которая могла бы быть 
исходной для данных примера п. 3.2.2, дан в табл. 3.4, где 
приведена оценка организации труда в четырех лабораториях 
(таблица «Единица наблюдения —(лаборатория, оценка, экс- 
перт)»). В качестве единицы наблюдения (объекта) в ней взя- 
то резюме из карточки, заполняемой экспертом после обсле- 
дования и оценки организации труда в лаборатории, в котором 
указываются номер лаборатории, оценка, номер эксперта. 


Если бы априори было известно, что эксперты эквивалент- 
ны друг другу и их оценки не зависят как от обследуемых ими 
лабораторий, так и от оценок, выставляемых другими исследо- 
вателями, то в табл. 3.2 и 3.4 содержалась бы одна и та же ин- 
формация, но представленная в разном виде. Однако на прак- 
тике эти условия обычно не выполняются. Так из табл. 3.4 
видно, что первый эксперт по сравнению со вторым имеет тен- 
денцию завышать оценки. Поэтому табл. 3.4 содержит больше 
информации, чем табл. 3.2, и дает возможность изучить не 
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Таблица 3.4 


Лаборатория Оценка* Эксперт 


чо о 
ЕЕ -- 
зо | | (*) 
9х |1 2|314]| 1] 2]314 |1] 215 вы 7 9110] = 
ее | хх 
1 ГооогоооЕгоооо00о0000 3 
2 ого оого ооо 0о00 3 
3 оогогГоо ооо обо 0обсодо 3 
4 ооо иго ого о000 0 3 
5 рГоодоогГооо го оо оооод 3 
6 ого ооого0огооо000000 3 
7 оогооогооогоооо0о0о0 0 3 
8 ооо огтго ооо 0 00 О 3 
37 ооо о0 13 
38 ого ооо зЗ 
39 Оооо 
40 ооо о000 13 
Итого! 10 10 10 10]12 15 12 1|4 444 4 4444 4 120 


* Градации оценок: хорошо, удовлетворительно, неудовлетворинтельно, не оп- 
ределено. 


только соотношение между лабораториями и экспертами 
(связь экспертов с лабораториями), но и соотношение между 
экспертами и оценками (средний критический уровень экс- 
перта). 

Приписывание численных значений в таблицах «Объект — 
(многомерный отклик)» можно провести по полной аналогии 
с тем, как это сделано в п. 3.9.2 [232]. Введем необходимые 
обозначения, указывая в скобках соответствующий аналог в 
обозначениях п. 3.2.2: 

[ — число переменных в отклике; 

пк — Число градаций ^К-й переменной; 

п = У пк — общее число градаций переменных (п); 

т — число объектов (субъектов, единиц наблюдения) (т); 

Б — (т Хх п) -матрица данных, состоящая из нулей и еди- 

ниц (Х); 

Е — (пх П-вектор сумм по столбцам (А); 

С — (мх 1) -вектор сумм по строкам (В); 

О — (п Хх п)-диагональная матрица сумм по столбцам (\); 

И п — диагональная матрица сумм по строкам (\); 

Г.. — общая сумма элементов Е = [-т (х..); 

Х — пх 1) -вектор значений, приписываемых перемен- 
ным (У); 
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У — (п х П-вектор значений, приписываемых объектам 
У). 
Условия (3.19) теперь формулируются так, что сумма взве- 
шенных откликов внутри переменных должна равняться нулю. 
С учетом этого условия СКи = СКы -- СК. -- СКнер, где 
СКхнер = О — сумма квадратов отклонений между средними 
значениями по переменным, СКи — полная сумма квадратов 
отклонений в таблице, СКи — сумма квадратов отклонений 
между строками, СК. — остаточная сумма квадратов от- 
клонений. Оптимизации подвергается величина А? = СК„/СКи. 

В случае таблиц «Объект — (многомерный отклик)» так 
же сохраняется свойство взаимозаменяемости оптимизации, 
выполняемой по строкам, и оптимизации по столбцам. При вы- 
полнении условий Р’Х = (’У = 0 и с учетом более простого 
вида аналога \ имеем 


12 ХЕ РХИ _ У’ Р-Р’ У 
Х' ох [У’У 


Если оптимизация проводится по Х, то 
С—=1-1.0-1/2 Е’ ЕО 1/2 — [1 р!/21, 1, 6!/2; 
если по У, то 
С = ЕО Е’ — т-1 1, 1. 


Если дуальное шкалирование выполнить для таблицы со- 
пряженности и соответствующей ей таблицы «Объект — (дву- 
мерный отклик)», то численные значения, приписанные пе- 
ременным после нормировки, совпадут, а А? = (1 + 1)/2. 


ВЫВОДЫ 


1. Распределения многомерных случайных величин, коорди- 
наты которых измеряются в номинальных и порядковых шка- 
лах, часто представляют в виде многомерных прямоугольных 
таблиц, называемых таблицами сопряженности. При этом в 
клетке, соответствующей 1, — градации первой переменной, 
.... {: — Е-й переменной указывается х:,..4,-— Число наблю- 


дений в выборке с этими градациями. В двумерном слу- 
чае по организации сбора данных различают три выборочные 
схемы, приводящие к таблице сопряженности: 

1) распределения столбцов (строк) независимы и являют- 
ся полиномиальными распределениями с вероятностями 
{9:;} и фиксированным числом наблюдений в столбце п; = 
= Улх:;; основная гипотеза: {4;;} от # не зависит; 

] 
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2) распределение частот в двумерной таблице есть полино- 
миальное распределение с вероятностями {р;;} и фиксирован- 
ным числом наблюдений п = Уим:;}; основная гипотеза: для 


Ё,] 

всех Г, ] р:; — Р:.Р.г 

3) все х;; независимы между собою и имеют пуассоновское 
распределение с параметрами /,;;; основная гипотеза в этом 
случае: для всех 1, | Л;:; = А;.А.ИА... 
2. Для описания совместного распределения х;; предложе- 
на логарифмически-линейная параметризация таблиц сопря- 
женности, в которой предполагается, что 


п Ех; ;== 00) о -| 042 -- 0412), 


Где параметры 0 удовлетворяют соотношениям 


30:0 = 30:2 = 012 = 20 = 0. 
7 ] | 


+ 


В новых обозначениях основная гипотеза записывается как 


Ну”: для всех 1, [0;1?? = 0. 


Для проверки этой гипотезы используются либо обычный 
критерий Х? как критерий однородности распределений столб- 
цов (строк) в таблице, либо имеющий то же асимптотическое 


распределение информационный критерий 2и[, получаемый 
стандартным способом для проверки сложной гипотезы 
0412? = —= 0. 

3. Предложен ряд различных мер связи между строками и 
столбцами в двумерных таблицах сопряженности. Среди них 
выделяются информационные меры связи как легко допускаю- 
щие обобщение на многомерный случай. 

4. Один из методов анализа двумерных таблиц сопряженности 
заключается в том, чтобы приписать градациям классифика- 
ционных переменных численные значения так, чтобы макси- 
мизировать некоторый функционал. Оказывается, что ряд из- 
вестных под различными названиями и максимизирующих 
различные функционалы методов таких, как «метод взаимных 
усреднений», «аддитивное или оптимальное шкалирование», 
«метод максимизации коэффициента корреляции» и др., при- 
водит к приписыванию одних и тех же численных значений. 
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Глава 4. АНАЛИЗ СТРУКТУРЫ СВЯЗЕЙ 
МЕЖДУ КОМПОНЕНТАМИ 
МНОГОМЕРНОГО ВЕКТОРА 


4.1. Связи прямые и опосредованные. 
Введение в проблематику 


4.1.1. Цепи Маркова. Рассмотрим такую последовательность 
влучайных (для определенности непрерывных) величин 

1, бо,...) Епь ++ (4.1) 
что для каждого А = 2, ..., п условное распределение ЕЁ, при 
Ек—1 = Х»—1 СОВПадает с условным распределением &„ при ус- 
ловии, что ё—1 = Хл—, би о=Х, о, ..., @ = Х, ДЛЯ всех на- 
боров Хь-1,..., 1, для которых соответствующие условные 
распределения определены. На языке условных плотностей 
это условие может быть записано так: для всех Е > 2 


Ра, (Хи | бк-1= Хи -1) = ЙЕ, (Ха | Бит Хиль --.› бл == Х1) (4.2) 


или, для краткости опуская значения случайных величин и 
нижние индексы у буквы [, для всех р > 2 


(Ев -1) = (|1, ...) Е1). (4.2’) 


Про последовательность (4.1) говорят, что она образует 
цепь Маркова. В цепи Маркова каждый член зависит от всех 
предшествующих, но непосредственно зависящими (связан- 
ными) можно в силу (4.2) считать только члены, стоящие ря- 
дом, рассматривая не рядом стоящие члены & и &;.„ ( >22) 
как связанные опосредованно через Ёу4т,..., Ева. 

Пример 4.1. Пусть случайные величины \11,..., Пи не- 
зависимы между собой и нормально распределены со средним 
Е и дисперсией |, о — некоторая константа О <%р< |, а 

1 —Т:, 


бр = РЕ. (1 —0°) 1/2 пр, Е = Е, -Н (1 —0*)'/2 цз, 


Тогда случайные величины &,, &.,..., 8 также имеют нор- 
мальное распределение с теми же параметрами, что и щ;, и 
связаны в цепь Маркова. Их корреляционная матрица имеет 
вид 


1 р 0? ... 0-1 
о 1 р ... 07—2 
0? р ] ... "3 


| ки р ` 


143 


т. е. зависит всего от одного параметра р. Непосредственно свя- 
занные члены имеют коэффициент корреляции р, а члены, опо- 
средованно связанные и отстоящие друг от друга на А членов 
последовательности, имеют меньший коэффициент корреля- 
ции 0^+!. Таким образом, чем связь непосредственнее, тем она 
сильнее. 

Удобна геометрическая иллюстрация цепи Маркова, при 
которой случайные величины изображаются точками или круж- 
ками, а непосредственные (прямые) связи между ними — сое- 
диняющими их отрезками (рис. 4.1). Для обозначения связей 

мы использовали отрезки, а не 
... стрелки, так как если последова- 
Ф®® тельность (4.1) образует цепь 


Т - 
Рис. 4.1. Прямые связи Маркова, то и последователь 


между случайными вели- НОСТЬ бп, би-1» ..., ба, Как не- 
чинами, образующими цепь Трудно убедиться (см., напри- 
Маркова мер, [78, с. 590—591]), также яв- 


ляется цепью Маркова. Цепи 
Маркова являются простейшей моделью зависимостей между 
случайными величинами и нашли очень широкое применение в 
практике (физика, техника, экономика, биология, лингвисти- 
ка) особенно в тех случаях, когда есть естественное (например, 
временное) упорядочение случайных величин [26, 62, 96}. 
В кратких ‘обозначениях формулы (4.2”) плотность совмест- 
ного распределения Ё/,..., &„ может быть выражена как 


(1, ..-, Ба) = (51) 7 (65 | 81) 1 (83| Е», 81)... 
`.Р (5 | Бал» ++.» 61) = | (51) (5 [81 ... (и | в-у). (4.3) 


Откуда следует, что для описания распределения цепи Мар- 
кова достаточно знать распределение первого члена последова- 
тельности и для { == 2,..., п — условные распределения &; при 
известном значении &;—х, т. е. плотности условных распределе- 
ний пар векторов, непосредственно связанных друг с другом. 
Это свойство используется ниже при введении понятий пря- 
мой и опосредованной связи между координатами вектора. 
4.1.2. Прямые связи между координатами вектора. [По анало- 
гии с первым равенством формулы (4.3) по формуле условной 
вероятности для координат р-мерного вектора & = (&®), 
.... 62)’, имеющего невырожденное непрерывное распределе- 
ние, имеем 


НЕ, .., КР) НЕ) НЕО) Е Е, 5. 
... (Е) | ЕР-1), . &(1)). (4.4) 
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Предположим теперь, что для каждого # = 2, ..., р найдет- 
ся такое } (1) <, что выражение в правой части (4.4) может 


быть представлено в форме, близкой к правой части (4.3), а 
именно 


(ЕО, ..., Е) = Р(ЕОЭ) (Е [0 (2)... (Е [ЕС >). (4.5) 


В этом случае пары координат с номерами (2,} (2)), (3,1 (3)), 
.... (р, Г(р)) можно назвать непосредственно (прямо) связан- 
ными, а остальные координаты считать связанными опосредо- 
ванно. В общем случае естественно отказаться от ограничений, 
накладываемых нумерацией коорди- 
нат вектора, предполагая, что суще- © © 
ствует такая перестановка индексов 
координат, при которой представление (7) 7 ©—&-® 
вида (4.5) возможно. Удобно также 
ввести значение ] = О как соответст- я & 
вующее неслучайной дополнительной 
координате (9) = |. 

Пример 4.2 [150]. На рис. 4.2 Рис. 4.2. Прямые связи, 
графически показаны прямые связи, ии Структуры.  рудо. 
выделенные при изучении структуры вых ресурсов 
трудовых ресурсов. Рассматривалась 
9-мерная случайная величина, реали- 
зациями которой являлись значения показателей по 71 регио- 
ну РСФСР за 1969 г. Использовались следующие показатели: 
1) доля среднегодовой численности рабочих, служащих, кол- 
хозников в среднегодовой численности населения; 2) доля спе- 
циалистов с высшим и средним специальным образованием, за- 
нятых в народном хозяйстве, в среднегодовой численности ра- 
бочих, служащих, колхозников; 3) доля специалистов с выс- 
шим и средним специальным образованием, занятых в сельском 
хозяйстве, в общей численности работающих в сельском хо- 
зяйстве; 4) доля работающих в промышленности и строитель- 
стве в среднегодовой численности рабочих, служащих, колхоз- 
ников; 5) доля работающих в сельском хозяйстве в среднего- 
довой численности рабочих, служащих, колхозников; 6) доля 
работающих на транспорте и в связи в среднегодовой численно- 
сти рабочих, служащих, колхозников; 7) доля работающих в 
области просвещения, науки, культуры, искусства в среднего- 
довой численности рабочих, служащих, колхозников; 8) доля 
работающих в области государственного и хозяйственного уп- 
равления, кредита, государственного страхования в средне- 
годовой численности рабочих, служащих, колхозников; 9) 
доля работающих в области здравоохранения, физической 
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культуры, социального обеспечения в среднегодовой числен- 
ности рабочих, служащих, колхозников. 

На рис. 4.2 хорошо видна на изучаемый год центральная 
роль в распределении трудовых ресурсов по отраслям народ- 
ного хозяйства доли занятых в сельском хозяйстве (показа- 
тель 5). Это хорошо согласуется с качественными представле- 
ниями специалистов по трудовым ресурсам. Обращает на себя 
внимание тесная связь показателей 2 и 9, что также допускает 
качественное истолкование. 

Предположением (4.5) введен новый малопараметрический 
класс распределений, обобщающий многомерные распределе- 
ния, которые возникают в цепях Маркова, и получивший наз- 
вание «распределения с древообразной структурой зависимос- 
тей» (ДСЗ). Происхождение этого названия будет ясно из ма- 
териала следующего параграфа, где в более строгой и полной 
форме даны все необходимые определения и рассмотрены свой- 
ства нормальных распределений с ДСЗ. Можно ожидать, что 
в приложениях новый класс распределений окажется столь же 
удобным инструментом, каким сегодня являются цепи Маркова 
при изучении временных рядов. Первые результаты использо- 
вания распределений с ДСЗ очень обнадеживают [113]. 

Распределения с ДСЗ были введены в статистическую прак- 
тику С. Чоу [174, 175, 1761. Если не считать краткого изложе- 
ния результатов Чоу в [48], они не нашли еще отражения в мо- 
нографической литературе. В отечественной литературе разра- 
ботка теоретических вопросов, примыкающих к этому новому 
направлению, дана в [40, 61]. На работы В. И. Заруцкого [58, 
59] мы существенно опираемся в последующем изложении. 
4.1.3. Математические задачи, связанные с изучением рас- 
пределений с ДСЗ. Прежде всего надо более четко описать 
класс распределений с ДСЗ и выявить соотношения между раз- 
личными параметризациями одного и того же распределения, 
возникающими при разном упорядочении координат. Ведь да- 
же в простейшем случае, когда координаты образуют цепь 
Маркова, возможны два упорядочения: в прямом направлении 
цепи Маркова и в обратном. Необходимо также найти аналог 
выявленному на цепях Маркова соотношению, что прямым 
связям отвечает более высокая корреляция между координата- 
ми (см. $ 4.2). 

Нужно научиться оценивать структуру связей по выбороч- 
ным данным. Было бы желательно исследовать свойства этой 
процедуры как в обычной асимптотике растущего объема, так 
и в специальной более адекватной для многомерных данных 
асимптотике, когда рассматривается последовательность задач 
восстановления структуры зависимостей, в которой при пере- 
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ходе от одной задачи к другой одновременно растут и объем 
выборки, и число координат вектора (см. $ 4.3). 

Если несколько видоизменить формулу (4.3), оставив под 
знаком условия не один предшествующий член, ат > 2 пред- 
шествующих, т. е. 


РИБь о Бы) == РВ) 1) РВ | Вы, 6). 
... (Е [ Ев-аь ...у вт), (4.6) 


то придем к так называемым т-зависимым Марковским цепям. 
Естественно понятие т-зависимости перенести на координаты 
вектора (см. $ 4.4). 

При изучении связей между координатами мы уже исполь- 
зовали геометрический язык, изображая координаты точками, 
а связи между ними — соединяющими их отрезками. Это язык 
теории графов. Терминология и методы теории графов широко 
используют при изложении основного материала этой главы. 
Поэтому ниже приводятся предварительные сведения из тео- 
рии графов. 


4.2. Распределение с древообразной 
структурой зависимостей 


4.2.1. Предварительные сведения из теории графов. Изложе- 
ние начнем с напоминания основных понятий теории графов 
[134]. 

Определение 4.1. Простым графом С@ называется 
пара (У ((), Е (()). где\ (0) — непустое конечное множество 
элементов, называемых вершинами графа @ (У (С) — множе- 
ство вершин (), а Е (С) — конечное множество неупорядочен- 
ных пар различных элементов из И (@), называемых ребрами 
графа @ (Е (@) — множество ребер @). В дальнейшем термин 
«простой» опускается. Отметим, что так как Е (0) определено 
как множество, а не как совокупность и состоит из неупорядо- 
ченных элементов, то в графе С каждую пару вершин а, ВЕ 
СУ (С) может соединять не более чем одно ребро (а, Ь) и (а, 
Ь) = (6, а). В дальнейшем (как и на рис.4.1 и 4.2) вершины 
графа мы будем отождествлять с координатами вектора, а реб- 
ра графа — со связями. 

Определение 4.2. Граф Ц, называется подграфом Ц, 
если У (4) с У (@иЕЁ (0) СЕ (0. 

Определение 4.3. Конечная непустая последова- 
тельность ребер графа @ М=\{(а,, а.), (а», аз), ..., (@т,@т-л)} 
называется простой цепью, соединяющей вершины а; И ата, 


147 


если все вершины а;,..., ат, различны, кроме, быть может, 
@ат-+1 = 41. В последнем случае простая цепь называется цик 
лом. 

Определение 4.4. Граф С называется связанным, 
если для любых его вершин а и 6 существует простая цепь, сое- 
диняющая а иф. 

Определение 4.5. Лесом называется граф, не содер- 
жащий циклов, связанный лес называется деревом. 

Графы, изображенные на рис. 4.1 и 4.9, связанные и не име- 
ют циклов. Следовательно, их можно назвать деревьями. На 
них легко проверяются утверждения следующей теоремы. 

Теорема 4.1 [134]. Определяющие свойства графа-дере- 
ва. Пусть граф Т имеет р вершин, тогда следующие утвержде- 
ния эквивалентны: 1) Т является деревом; 2) Т не содержит 
циклов и имеет (р — 1) ребер; 3) Т связан и имеет (р — 1) ре- 
бер; 4) любые две вершины Т соединены ровно одной простой 
цепью; 5) Т не содержит циклов, но, добавляя к нему любое 
новое ребро, мы получим ровно один цикл. 

4.2.2. Распределения с древообразной структурой зависимо- 
стей (ДСЗ). Изложение начнем с определения. 

Определение 4.6. Будем говорить, что р-мерный 
вектор Х имеет ДСЗ, если существует хотя бы одна переста- 


новка координат вектора © (1,..., р) = (< (1), “а (2), ..., & (р)), 

такая, что для каждого @а (1) найдется номер 

7 (@ (1)) Е {0, а (1),..., &“ (—1)}, (4.7) 

что «почти всюду по {х((1)),..., х(6(2)) }» 1 для всех 2 

Р {< 0) < 2| ХС), ..., хе (1); = Р {9 (0) 32| х4 < 0} 
(4.8) 


При этом | == 0 соответствует фиктивной координате х\°) == ] 
и /(@ (1))=0. 

Для вектора Х с ДСЗ рассмотрим граф С = (У, Е), где 
У = {0, 1,..., р} иЕ = 0 (2, 1 (2)). Граф С имеет р ребер и в 


силу (4.7) не имеет цикла, поэтому согласно п.2 теоремы 4.1 
он является деревом. Отсюда и происходит термин «древооб 
разная структура зависимостей». Граф @ будем называть гра- 
фом структуры зависимостей Х. Заметим, что в случае, когда 
для некоторого @ (1) можно положить ] (а (1)) = 0, т. с. рас- 
пределение х(° (2) не зависит от х(°(1)),..., (91—19), то за 1 (“ (;)) 


1В дальнейшем изложении взятые в кавычки слова, выражающие 
сугубо внутриматематическое требование общности, опускаются. 
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можно было бы выбрать любое из чисел, стоящих в правой час- 
ти (4.7). Таким образом, граф С определяется, вообще говоря, 
неоднозначно. 

Однако единственность будет, если на распределение Х на- 
ложить дополнительное ограничение; для всех пар координат 
Хх), х), для всех возможных значений х® = ци х®Ф = дв 
случае дискретного распределения Х 


Р {хх = и, хФ =} >0 (4.8) 
и в непрерывном случае (1, | > 1) 
Г, хи) (и, 9) > 0. (4.8') 


В важном частном случае невырожденного р-мерного нор- 
мального распределения условие (4.8’) выполняется всегда. 

Теорема 4.2. Пусть вектор Х имеет ДСЗ, выполняются 
условия (4.8) и (4.8') иа, и С, — два различных графа струк- 
туры зависимостей Х. Тогда для любого ребра (1, ) СЕ (@!) 
и ЕЕ ((.), координаты (вектора) х() и хФ независимы, т.е. 
графы С, и С, отличаются друг от друга только ребрами, соот- 
ветствующими независимым координатам. Ввиду принципи- 
альной важности этого результата изложим схему его доказа- 
тельства. Оно проводится в несколько шагов. 

|. В графе С, выбирается простая цепь, соединяющая вер- 
шины Ги |. Согласно п. 4 теоремы 4.[ она всегда существует. 
Так как (1, Г) 6ЕЕ ((.), цепь содержит хотя бы одну вершину, 
отличную от, {. Обозначим эту вершину [. 

2. Координаты х(®), х), хФ, как лежащие на простой це- 
пи (в графе @(.), образуют марковскую последовательность. 
Следовательно, в дискретном случае совместное распределение 
ХО, Хх, х) описывается формулой 


Р (хо) Р (хо) Р (хх). (4.9) 


3. Возьмем в графе @, простую цепь, соединяющую [и [. 
Возможны два случая: 1) цепь содержит вершину ти 2) цепь не 
содержит вершину /. В первом случае на простой цепи верши- 
ны лежат в порядке /[, |, Г; во втором — в порядке /, 1, |. Оба 
случая рассматриваются одинаково. Пусть для определенно- 
сти имеет место первый случай, тогда совместное распределение 
Хх), хФ, х@) описывается формулой 


Р (хо) Р (х® | х0)) Р (х® | 0). (4.10) 


4. Формулы (4.9) и (4.10) описывают одно и то же распреде- 
ление, поэтому их можно приравнять. Опираясь на условие 
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(4.8), в полученном равенстве можно произвести упрошения. 
После несложных преобразований получаем 


Р (хр) Р (200, х®) 5 Р(х®, ху Р (0). 


Произведем суммирование по всем возможным значениям 
х). В результате получаем, что 


Р (х0, х0) =Р (х0)Р (х0), 


что и требовалось доказать. Случай непрерывных распределе- 
ний рассматривается аналогично с заменой вероятностей на со- 
ответствующие плотности. 

Рассмотрим теперь задачу о нахождении при известном гра- 
фе структуры зависимостей С перестановки координат &, позво- 
ляющей представить распределение Х в виде (4.5). Положим 
© (0) = 0 и возьмем произвольную простую цепь, начинаю- 
щуюся в 0. Будем двигаться вдоль нее от нуля, считывая но- 
мера проходимых координат и приравнивая их © (1), “ (2), ... 
Затем берем следующую простую цепь, начинающуюся в од- 
ной из уже пройденных вершин или в 0, и двигаемся вдоль 
нее, продолжая считывание, и т. д. до тех пор, пока не будут 
исчерпаны все вершины графа и тем самым определена полно- 
стью перестановка и. Поскольку координаты, лежащие вдоль 
простой цепи, образуют цепь Маркова (см. п. 2, 3 схемы дока- 
зательства теоремы 4.2), из построения & сразу же следует воз- 
можность представления распределения Х в виде (4.5). В от- 
дельных случаях перед построением а может оказаться удоб- 
ным в графе С изменить некоторые несущественные связи, со- 
ответствующие независимым координатам (ср. с теоремой 4.2). 
4.2.3. Нормальное распределение с ДСЗ. Пусть Х имеет невы- 
рожденное р-мерное распределение с вектором средних М и 
ковариационной матрицей » = ||0;;|| с известной структурой 
зависимостей, заданной функцией ] (1). Вопросы, связанные с 
нахождением ] (1), обсуждаются в следующем параграфе. Наша 
ближайшая цель — найти общий вид плотности Х. 

Известно (см. [14, с. 172] и теорему 2.5.1 [20, с. 45]), что ус- 
ловное распределение х() при фиксированном значении компо- 
ненты х() нормально с параметрами 


Е (х0 | х0)) = т + г; ;-РЬ (ХФ —т®); 
0} 


© (х© | х7)) = 0? (1— #2), 
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где о? = 0;:, Г; = 0;/0:5;. Откуда в силу (4.5). плотность Х 
равна: 


(2л)—2/? |] 51 — пати Хх 
1:<р 


о..,. , . 
(4) — т®— (хЧ та @))у 
(0 
Ж ехр | — —————— 0. 4.11 
р 20} (1—7 (0) (И 


Таким образом, гауссовские распределения с ДСЗ имеют 
очень простой вид #-* — матрицы, обратной ковариационной. 
В ней над диагональю стоят не более р —1 отличных от нуля 
элементов. Если перестановка © совпадает с исходной нумера- 
цией координат Х, то над главной диагональю в каждом столб- 
це Х-* стоит не более одного отличного от нуля элемента. 

В качестве примера приведем ковариационные матрицы 
случайных векторов, графы структуры зависимостей которых 
показаны на рис. 4.1 и 4.2. В первом случае 


Е -—о 0... 0 07 
—о 1 -.. оо 
—-р | оо 
1 — (1—0) "|... еее. 
Оо п о.. ] —о 
_ 0 0... —р 1_ 
и во втором 
—ж 00000 + 00 
0+00+0+ 0. 
Об: 0+ 000 
Об. + Ооо 
= Оба 0 + О, 
ООО + 000 
#0000 +00 
0000+00 + 0 
0+000000 + 


здесь знаком * показаны отличные от нуля элементы. 
Полезно представление »-* в виде 


2-1 С* С, (4.12) 
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где С = ||си|! — матрица с элементами 
Си = от ' (1 —"} 0)—1/2; С (г) = —Гие@) 9/(:) (1 —"!, (0) 1/2; 


Если перестановка & совпадает с исходной нумерацией коор- 
динат, то } (1) <и С — нижняя треугольная матрица. 

Граф структуры зависимостей С нормально распределен- 
ного вектора Х может быть использован при вычислении коэф- 
фициентов корреляции между координатами Х. Для этого нам 
необходимо знать только р коэффициентов корреляции между 
парами координат, соответствующих ребрам С. 


Теорема 4.3. Для нормального вектора Х с ДСЗ для 
всех 1 <1<]<р 


Г.) = ПЦ к (4.14) 
Е 1: (Е, 1) ЕМС, 1) 


где М (1, ]) — простая цепь, связывающая в графе С структу- 
ры зависимостей вершиныйи ]. 

Доказательство. Последовательность координат Х, обра- 
зующая простую цепь, является марковской (см. п.2 и 3 дока- 
зательства теоремы 4.2). Пусть эти координаты будут 1, 4, 
Ь, ..., [ь, Г. В силу теоремы 1 [140, с. 122] для последовательно- 
сти нормальных величин, связанных в цепь Маркова, 


Ги, Гы у=РГи’ Гы Гьу=... = Ти. Гыь... Г, р 


что и требовалось доказать. 

Остановимся теперь на выборочной оценке Х-* при извест- 
ном графе С структуры зависимостей. В качестве первого шага 
по графу С находится перестановка %. Это можно, например, 
сделать так, как указано в конце предыдущего пункта. Далее 

м 


строится С — оценка матрицы С путем замены в С величин 


с;, ГК их выборочными оценками. $-1 — оценка Х-! нахо- 
дится как 


$-1 =’ С. (4.12’) 


> м 


Если в качестве о;, г;(:) взять обычные в нормальном слу- 


п 1 
чае выборочные оценки [14, табл. 6.3, п. 6], то\ —=— $ —1 есть 


оценка максимального правдоподобия [14, 6 8.2] для Х-* при 
известной структуре зависимостей. Для доказательства этого 
можно воспользоваться леммой 3.2.2 [20], позволяющей найти 
в рассматриваемом случае максимум уравнения правдоподобия. 
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4.3. Оценка графа структуры зависимостей 
компонент нормального вектора 


4.3.1. Вес связи. Пусть Х — нормально распределенный век- 
тор с ДСЗ своих компонент. Весом связи (+, ]) назовем |г;;|, 
где г;; — коэффициент корреляции между х() и хФ. Весом 
графа назовем суммарный вес его ребер. Тогда вес графа струк- 
туры зависимостей 


# (С) = У [ил (у |. (4.15) 
(. Г) ЕЕ (0) 


Формула (4.14) подсказывает, что среди всех деревьев Т, ко- 
торые можно построить на вершинах {0, 1,..., р}, графы струк- 
туры зависимостей, отличающиеся между собой (в силу теоре- 
мы 4.2) только несущественными связями с нулевым весом, 
будут иметь наибольший вес. 

Теорема 4.4. Для невырожденного нормального векто- 
ра с ДСЗ вес графа структуры зависимостей строго больше ве- 
са любого дерева, отличающегося от него хотя бы одним ребром, 
имеющим ненулевой вес. 

Доказательство теоремы проводится методом математичес- 
кой индукции. Для р = 2 оно верно. Предположим, что оно 
верно для всех р’ < р, и докажем, что оно верно и для р -{ 1. 
Не нарушая общности, можно считать, что перестановка © со- 
ответствует естественной нумерации координат. Обозначим 
Сри Тр граф структуры зависимостей Х и произвольное дере- 
во, построенные на У (С,) = {0, 1,2, ..., р}. Тогда Е (@р-:)= 
=Е (6,) + +1, Фи Е (Та) = Е (Ть+ ф +1, 
Е), гдек < р -|- 1 — некоторая вершина С. Если А == 7 (р- 1), 
то утверждение теоремы верно согласно предположению, так 
как 


(бр) = (Ср) | Гр-ы, 1 (р [ (4.16) 
и (Тр-+1) = & (Ть) | Гра, в |. 

Но если А = |(р-- 1), то согласно (4.14) [ Гр, к |= 

5 | Ир-ни, 1 (р--и [РИ оноьы | 4 ГА, в, 

где вершины р +1, (р - 1), 4,..., [, А берутся вдоль про- 
стой цепи вСр-.1, соединяющей р -|- 1 иЁ. Поскольку все коэф- 


фициенты корреляции по модулю строго меньше единицы (в си- 
лу невырожденности распределения Х), то 


ра, в |< Иры, оно (4.17) 
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‚если только |’р4л, къ! 5 0. В силу сделанного предполо- 
жения, а также (4.16) и (4.17) утверждение теоремы верно и 
для рт 1. 

‚4.3.2. Построение графа структуры зависимостей по корреля- 
ционной матрице. Как установлено выше, граф С структуры 
зависимостей нормального вектора строго тяжелее любого дере- 
ва, построенного на тех же вершинах и отличающегося от ( хо- 
тя бы одним ребром ненулевого веса. Поэтому задача нахожде- 
ния С при известной корреляционной матрице К = ||/;;|| сво- 
дится к задаче отыскания среди деревьев, которые можно пост- 
роить на вершинах У(() с весами, определяемыми \/ = |||"; л||, 
дерева наибольшего веса. В теории графов последняя задача ре- 
шается с помощью алгоритма Крускала [134], носящего итера- 
нионный характер и заключающегося в следующем: 

сначала матрица \/ пополняется весами, отвечающими 0— 
координате х() = |, \° = [00...01]; 

0 
ом 

далее в качестве первого шага выбирается любое из ребер, 
имеющих в \/° наибольший вес; на [-м шаге (2 < [< р) — 
любое из ребер наивысшего веса среди оставшихся и не об- 
разующих цикла с ранее выбранными ребрами. 

Поскольку всего имеется р -- 1 вершина, в алгоритме Крус- 
кала делается р шагов, и на каждом из них выбирается ребро, 
не образующее цикла с ранее выбранными, то в результате его 
применения возникает дерево (см. теорему 4.1). Работу алго- 
ритма Крускала удобно проиллюстрировать на примере пост- 
роения дерева для однородной цепи Маркова, описанной в 
п. 4.1.1. На каждом из первых я — | шагов выбираются ребра 
вида (1, { -- 1), на последнем шаге — ребро вида (0, [), так как 
все остальные ребра образуют цикл с ранее выбранными. Ес- 
ли отбросить связь нулевого веса, то получаем дерево, изобра- 
женное на рис. 4.1. 

Если известна только выборочная корреляционная матрица 
К, то по ней может быть построена выборочная весовая функ- 
ция М == |||г;;||1. Результат применения к ней алгоритма Крус- 
кала обозначим С. Так как при росте объема выборки В — К 


(по вероятности), то С также сходится к С в том смысле, что 
ш (Е (С. 0) И Е (6% б))->0 (по вероятности)". (4.18) 


— 


— 
1Здесь С`\\С означает множество элементов С, не входящих в С. 
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4.3.3. Асимптотика Колмогорова — Деева. В практической 
работе часто р — размерность вектора Х ип — число наблюде- 
ний суть величины одного порядка. 

Например, в медицинских исследованиях при диагностике 
относительно редких заболеваний приходится работать с век- 
торами размерности р = 19—15 при выборках объема 
п == 20—30. Ясно, что в этих условиях результаты типа (4.18), 
установленные в предположении, что распределение фиксиро- 
вано, ал > со, вряд ли могут служить надежным обосновани- 
ем. 

В последние годы получила распространение новая асимп- 
тотика, специально рассчитанная на многомерные задачи, в ко- 
торых отношение р/п не стремится к нулю. В этой асимптотике 
рассматривается последовательность (по некоторому параметру 
т — со) многомерных задач изучаемого класса. При росте т 
(переходе в последовательности от одной задачи к другой) 
растут какр (7), так ил (т), причем их отношение стремится 
к пределу 


р (т) — о, п (т) — со, р(т)/п (т) — ^ < (т- о). (4.19) 


В этой специальной асимптотике, которую мы в дальней- 
шем будем называть асимптотикой Колмогорова — Деева, на- 
рушаются многие привычные свойства статистических проце- 
дур. Например, если Х имеет многомерное нормальное распре- 
деление с нулевым вектором средних и независимыми коорди- 
натами с дисперсией 0? их; (1 = |,..., п) — независимая вы- 
борка объема п, то квадрат длины вектора выборочного сред- 
него 
У (ху У [ Чо} о 

{ ) 
= ЕЕ = 
а нек 0, как это было бы в обычной асимптотике. 

Достоинство новой асимптотики не в том, что в ней не обяза- 
тельно верны многие общепринятые статистические процедуры, 
а в том, что полученные в ней предельные формулы, например 
для ошибок классификации многомерных объектов, исключи- 
тельно хорошо работают даже при относительно небольших 
значениях пл. 

Алгоритм Крускала оказывается устойчивым по отношению 
к новой асимптотике. Так, если равномерно по т для некото- 
рого 6 >0 
1 — тах | и;;| > й7 1/28, 

,} 
шей |[и;;| >20 1/26, (4.20) 
0 


Ё, |; г; 
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т. е. при переходе от одной задачи к другой в асимптотике Кол- 
могорова — Деева тах |;;| по всем парам координат не при- 
ближается слишком быстро к единице, а ши |и;;| по существен- 
ным (ненулевого веса) связям не стремится слишком быстро 
к нулю, то (4.18) имеет место и в асимптотике (4.19). При 
этом выборочные значения коэффициентов корреляции совсем 
не обязаны удовлетворять соотношению (4.14), задающему 
свойство древообразности для нормальных распределений. 
Они только должны быть близки к теоретическим значениям 
коэффициентов, которые удовлетворяют (4.14). 


4.4. Ю(^)-распределения 


Распределения с ДСЗ обобщают совместное распределение пос- 
ледовательных членов в дискретных цепях Маркова. Если дви- 
гаться вдоль ветвей графа-дерева структуры зависимостей, то 
последовательно проходимые вершины графа (координаты век- 
тора наблюдений) образуют цепь Маркова. Этот факт позво- 
лил доказать единственность в нормальном случае графа — 
дерева структуры зависимостей, предложить простой алго- 
ритм его оценки по выборочной корреляционной матрице и, 
наконец, показать, как, зная дерево структуры зависимостей, 
получить исходное распределение. 

В этом параграфе рассматриваются Р (®)-распределения 
(удовлетворяющие условию ЛР (^)), обобщающие так называе- 
мые К-зависимые марковские последовательности. Л (1)-рас- 
пределение — это уже известное нам распределение с ДСЗ. 
По аналогии со случаем К = 1 вводится понятие графа струк- 
туры зависимостей и показывается, как найти этот граф по вы- 
борочным данным. Однако в общем случае (К >> 1) пока не уда- 
лось доказать однозначность обратного перехода: восстановле- 
ния по графу структуры зависимостей и (К -|- 1)-мерным рас- 
пределениям координат вектора Х исходного распределения Х. 
Этим обусловлена-некоторая незавершенность излагаемой ниже 
теории. 

4.4.1. Основные определения. Начнем с обобщения понятия 
распределения с ДСЗ. 

Определение 4.7. Распределение Х удовлетворяет 
условию Л (Е) (Е 1), если для некоторой перестановки но- 


меров компонент Х а = (а (1),..., а (р)) для каждого 1 = 1, 2, 
..., р найдется ./ (1) — такое множество из {0,1,..., р}, что 
у (а (1)) = {а (1;):11<1 1=1,.... А: <}, (4.21) 
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и почти для всех возможных значений х(91)), ..., х(@@—1)) 
для всех 2 


Р {9 0) < 2| х@ 0», ..., ха @-1} 5 Р {9 0) 32 ХИ@@»}, 
(4.22) 
где Х(7 (0) = {хФ : ] Е (“а (1))} и х0 = 1. 


Из этого определения немедленно получаем, что если рас- 
пределение Х непрерывно и удовлетворяет условию А (®), 
то в обозначениях (4.2”) 

Г(Х) = ПП Кхй]хе (4.23) 


1 1=р 


При К = | из (4.21) — (4.23) получаем (4.7), (4.8), т. е. 
распределение, удовлетворяющее условию Р (1), есть распре- 
деление с ДСЗ. 

Для распределений, удовлетворяющих условию К (Е), так 
же как в$ 4.2, можно ввести понятие графа структуры зависи- 
мостей а, положив 


|} 


В отличие от случая К = | в общем случаек >> [| граф струк- 
туры зависимостей зависит от выбора перестановки & и не оп- 
ределяется однозначно. 

4.4.2. Нормальное Р (Е)-распределение. Пусть Л, / — два упо- 
рядоченных непересекающихся подмножества [= {1.,..., 


и}, 4 = {1,..., №} Координат вектора Х. Образуем вектор 
(р (1ь) хе 
1,1) (ха Л)" — 
Хх‘ ) = (х(®, ...) Х | 5 х(:), од Хх в) - (= } 


и пусть его корреляционная матрица 
> Х1/ 
>11 у, 
По аналогии с п. 4.2.3 имеем 
Е (х( | ХО @)) = то -- У у ут ло (Х9 — МЧ, 
О (хо [ХО 62) = 6 — Ж,л 0 Холо Хло1=0.10. 


Хили = | 


Откуда с учетом (4.23) получаем 
Р(Х) = (2п)-Р/? Погу (г) ехр { — [х() —- т -— 


— 2 ле) Хил (ХО ©) —МУ 09) 1207, 1 (п}. (4.24) 
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Так же, как при А -- |, матрица Х-' имеет очень простой 
внд. В случае когда & совпадает с исходной нумерацией коор- 
дннат Х, в каждом столбце Х-! над главной диагональю сто- 
ит не более К отличных от нуля элементов. Пусть 


С (К) = | С;; (^) |, ГДе С; (№) == От, у (2), 

С;. 1 (2) (^) = — У, У (То. Я (г) ог. (2), 

си (Е) =0, 15-41 0Л(0, 

тогда имеет место аналог (4.12). Для гауссовских К (®)-рас- 

пределений 

х-1—= С’ (№) С (®). (4.25) 
При описании алгоритма выделения графа структуры зави- 

симостей нам потребуется также следующее определение 


Определение 4.8. Граф СсУ (0) == {1,..., р} удов- 
летворяет условию Т (^), если существует хотя бы одна перес- 


тановка номеров вершин {1, ..., р} а == (@ (1), ..., а (р)), что 
для каждого | < {< р найдется не более к вершин @ (11 (1)), 
...› @ (1, (1)) (Е; < к), таких, что для всех |= |, ..., К; 


1) < (а (1; а (1; (1) ЕЕ (@) и о О (а (1, а (1:1) = 


= Е (0). 

4.4.3. Восстановление графа структуры зависимостей. Пусть 
г;п.1 — частный коэффициент корреляции между х@) и х 
при фиксированном значении х(Р (см. $ 1.2 и [20, $ 2.5]. Тогда 
в случае нормального распределения с ДСЗ для (№) 6 
СЕ (С()— дереву структуры зависимостеи и (1, Г) ЕЕ ЕЁ (@) 


пал [ И;н.и [5 0, пи | из; [= 0. (4.26) 
| 1 


Это свойство после необходимого обобщения может быть ис- 
пользовано для выделения графа структуры зависимостей в 
случае ^ (Е)-распределений. Пусть Г;„.л — частный коэффи- 
циент корреляции между х(), х® при фиксированном зна- 


чении Хх... ХИЮ, [= {1,..., 1}; назовем А-весом связи 
(1, ] 
6, (0) = пил |721: |, (4.27) 


где минимум берется по всем наборам из Е координат Х, от 
личных от хи х(). 

Теорема 4.5. Для невырожденных нормальных Л (®)- 
распределений граф структуры зависимостей единствен с точ- 
ностью до связей нулевого К-веса. 
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Перейдем к описанию алгоритма выделения графа структу- 
ры зависимостей. По своему содержанию он близок к описан- 
ному в п. 4.3.2 алгоритму Крускала, только понятие ребра 
графа, образующего цикл с уже выделенными ребрами, при- 
ходится заменить более сложной конструкцией. 

Обобщенный алгоритм Крускала. Выбираем на первом шаге 
ребро [1 наибольшего К-веса; определяем по индукции последо- 
вательность ребер [., [3,..., м1, выбирая на каждом шаге ребро 
с наибольшим А-весом, отличное от уже выбранных и обладаю- 
щее тем свойством, что при добавлении [„-го к отобранным реб- 
рам граф ({1,..., р}, {11,..., »}) будет обладать свойством Т (А). 

В том случае, когда граф структуры зависимостей единст- 
вен с точностью до связей нулевого К-веса (нормальные КЛ (®)- 
распределения), обобщенный алгоритм Крускала дает возмож- 
ность его восстановить. 


> 
сл 


Структура связей нормального вектора 
{общий случай) 


С важными, но частными моделями структуры связей между 
компонентами многомерного нормального вектора мы познако- 
мились в предшествующих параграфах. Наша цель — дать 
краткую сводку основных результатов общей теории [40, 56, 
179]. 
4.5.1. Марковская тройка. Структура многомерного вектора. 
Пусть Х = (х0)...., х{))’ имеет невырожденное р-мерное рас- 
пределение; У = {1,..., р} — множество номеров координат 
Х; А, В, С — непересекающиеся подмножества У; Х(“) — 
подмножество координат Х, номера которых входят в А. 
Определение 4.9. Тройка (А, В, С) называется мар- 
ковской, если 


Е | Х{8, ХФ) = (Хх | Х(В)). (4.28) 
В определении марковской тройки допускается тривиаль- 


ный случай С = ©. Для того чтобы тройка (А, В, С) была 
марковской [61], необходимо и достаточно, чтобы 


Х лс== > АВ У ВА вс, (4.29) 


где Х лс== Е (ХХ) —ЕХ(4)) (Х(В) —ЕХ\8))’ или, что  эквива- 
лентно, 


х.4с-=(), (4.30) 
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где Х4С (А, С) — блок матрицы Х-", соответствующий блоку 
Улс в матрице %. 

Условие (4.30), очевидно, обобщает соответствующие ут- 
верждения о нулях Х-! в случае К (®)-распределений. В [61] 
предложен статистический критерий для проверки гипотезы 
(4.30), построенный в традиционной асимптотике, когда фик- 
сирована матрица », а число наблюдений п -> оо. 

Определение 4.10. Структурой связей многомер- 
ного невырожденного нормального вектора Х называется граф 
С = (У, Е), такой, что для любой марковской тройки (1, В, ]): 
а) любая цепь в С из {в / проходит через В и 6) для каждого 
Е Е В существует в С цепь из Г в /, проходящая через К. 

Пусть Г (7 — множество вершин, смежных на С вершине 
Г, т.е. Г (1) = {7 1, Л 6Ё}, тогда 


РОО | ХТ 0) = | Х\5), (4.31) 


причем Г(Г) минимально в том смысле, что ни для какого под- 
множества его компонент (4.31) не имеет места. 

Теоретический способ отыскания Е состоит в том, что для 
каждой пары компонент (1, 7) подсчитывается частный коэффи- 
циент корреляции между и | при фиксированных значениях 
всех других компонент [20, $ 2.5]. Если он не равен нулю, то 
(1, 1) СЁ, в противном случае (1, 7) ЕЕ Е. На практике, по-ви- 
димому, можно задавать некоторый порог б >> 0 и считать связь 
(1, АСЕ, если |"; ел 226, и (1, ] © Е--в противном слу- 
чае. При другом способе все частные коэффициенты корреля- 
ции при фиксированных значениях всех других компонент рас- 
полагают в вариационный ряд по абсолютным величинам и от- 
бирают наперед заданное число наибольших из них. Если (7, |) 
соответствуют отобранным членам вариационного ряда, то 
принимают совокупность (т, |) ЕЕ. Статистические свойства 
этих рекомендаций не изучены. 

4.5.2. Информационная интерпретация структуры связей. 
Математическое выражение количества информации в векторе 
Х относительно вектора У определяется [75| как 


Г(Х, У) = лох. Ут ахау, 
КОН 


где / (Х), 7 (У), Ё(Х, У) — соответственно плотности распреде- 
ления Х, У и(Х, У). В нормальном случае информация, за- 
ключенная в подмножестве Х(“) координат вектора ХЕ 
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Е №(0,>) относительно подмножества координат Х'8} (А ПВ= 
—= (7), задается выражением (1751, гл.9, формула (7.4)) 


де У дл Чей » 
(Хо, Ху — Аш Че дл Че вв 


4.32 
2 её х (9.92) 


(ЛОВ) (ЛОВ) 


Пусть Г (1) определено, как в предыдущем пункте, тогда 
[56] 


(хо, ХТ 6) > [(х0, Х(ВУ,, (4.33) 


где В — любое подмножество компонент Х ‚ не содержащее Х (Г) 
целиком. Сравним (4.32) с формулой (20) [20, п. 2.5.2]. Из срав- 
нения и (4.33) следует, что максимум взаимной информации 
между Хх) и Х“) достигается на том же наборе компонент 
ХТ), что и максимум коэффициента множественной корреля- 
ции. При этом структура связей выделяет не парные, а мно- 
жественные зависимости, в большей степени отражающие ре- 
альное взаимодействие переменных. Для каждой компоненты 
х(7) с помощью графа структуры связей легко находится груп- 
па координат Х(Г()), непосредственно связанных с х() и несу- 
щих максимальную информацию о ней. 

4.5.3. Использование структуры для представления распреде- 
ления в виде композиции более простых распределений. Нач- 
нем с формулы (4.4). Разобьем каждое из подмножеств ком- 
понент, входящих в правые части сомножителей (4.4), на 
два таких подмножества {Х“Аи, ХВ}, {Х, Х(В},..., 


{Х(р-, Х(В»ь-1}, что тройки (1, А,, В,), ..., (р, Ар, Ву) 


будут марковскими. В результате получаем аналог разложе- 
ний (4.5) и (4.23): 


СХ) == (хо) (| Хи)... (| Хр-У). 


К сожалению, в общем случае так же, как для Р (Е)-рас- 
пределений, не выработано простых рекомендаций, как наибо- 
лее удачным образом с точки зрения простоты окончательной 
формулы выбрать первоначальный порядок координат. 


ВЫВОДЫ 


1. При содержательной интерпретации взаимозависимостей 
между координатами случайного вектора целесообразно вы- 
делять связи прямые и опосредованные. Важным примером не- 
посредственной связи является связь последовательных на- 
блюдений (Ё „, &.1) в цепи Маркова. Связь наблюдений (Ё,, 
,+к) опосредуется через наблюдения (Е41, чо, ..., аи). 
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Для визуального представления зависимостей широко исполь- 
зуются графы структуры зависимостей, в которых координа- 
ты вектора изображаются в виде вершин графа, а непосредст- 
венные связи между ними — в виде связывающих их ребер. 
2. Понятие древообразной структуры зависимостей между 
координатами случайного вектора’ возникает как обобщение 
понятия марковости для совокупности случайных величин, 
лишенных временной упорядоченности. Говорят, что распре- 
деление Х = (х(),..., х(Р))’ имеет ДСЗ, если существует такая 
перестановка координат вектора (“ (1),..., а (р)), что 

Р(Х) = ПР 9 [ х/ (@ 0), 


1 


где | (< (1)) Е {“ (1),..., а (— 1)}. 

3. Невырожденные р-мерные нормальные распределения с 
ДСЗ имеют очень простой вид матрицы Х-\, где » — ковари- 
ационная матрица координат вектора. В »-! над главной диа- 
гональю стоит не более р — | отличных от нуля элементов. 
Эта малопараметричность описания ковариационной матрицы 
в сочетании с большим разнообразием описываемых классов 
зависимостей, включающим, в частности, все ковариационные 
матрицы цепей Маркова, делает распределения с ДСЗ одним 
из основных инструментов в многомерном анализе. 

4. Для распределений с ДСЗ при выполнении дополнительного 
условия, справедливого для всех невырожденных нормальных 
распределений, графы структуры зависимостей определяются 
однозначно с точностью до связей, соответствующих независи- 
мым координатам. С другой стороны, для этих распределений 
по графу структуры зависимостей восстанавливается, хотя и 
неоднозначно, естественный порядок координат, фигурирую- 
щий в определении распределений с ДСЗ. 

5. Если известна корреляционная матрица невырожденного 
нормального вектора с ДСЗ, то по ней с помощью известного 
в теории графов алгоритма Крускала граф структуры зависи- 
мостей восстанавливается однозначно. Алгоритм Крускала, 
примененный к выборочной корреляционной матрице, оказы- 
вается состоятельным в асимптотике Колмогорова —— Деева, 
специально рассчитанной на изучение ситуаций, когда число 
наблюдений вектора и его размерность суть величины одного 
порядка. 

6. ^ (®)-распределения (Е > 1) возникают как результат обоб- 
щения, с одной стороны, распределений с ДСЗ (К (1)-рас- 
пределений), а с другой — А-зависимых марковских последова- 
тельностей. На Л (Е)-распределения удается перенести многие 
свойства распределений с ДСЗ. 
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7. Пусть А, В, С — непересекающиеся подмножества номеров 
координат, а Х(^), Х“®), ХС) — соответствующие наборы 
координат. Тройка (А, В, С) называется марковской, если 
(Хх) | (Хх, Хх) = КХМ) | Х(В)). Построены статистиче- 
ские критерии для проверки гипотезы, что заданная тройка — 
марковская. В случае когда Х имеет невырожденное пор- 
мальное распределение, структурой связей Х называется граф 
а, вершинами которого являются номера координат Х, а реб- 
рами -— соединяющие их дуги и для которого выполняется 
условие, что для каждой марковской тройки ((, В, |): а) любая 
цепь в С из р в / проходит через В и 6) для каждого Ё С В су- 
ществует цепь в С изв ], проходящая через А. Вся информа- 
ция в координатах Х`\х() относительно координаты х() со- 
держится только в ХТ), где Г (1) — вершины графа С, смеж- 
ные с вершиной г. Ребрам (1, 7) графа С соответствуют отлич- 
ные от нуля частные коэффициенты корреляции между Ги ] 
при фиксированных остальных координатах вектора Х. Этот 


факт можно использовать для нахождения графа структуры 
связей. 
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Раздел |. ИССЛЕДОВАНИЕ ВИДА ЗАВИСИМОСТИ 
МЕЖДУ КОЛИЧЕСТВЕННЫМИ 
ПЕРЕМЕННЫМИ 
(регрессионный анализ) 


Глава 5. ОСНОВНЫЕ ПОНЯТИЯ 
РЕГРЕССИОННОГО АНАЛИЗА 


Предыдущий раздел (гл. 1—4) посвящен описанию математи- 
ческого аппарата, привлекаемого для реализации 3-го этапа 
статистического исследования зависимостей (см. «Корреля- 
ционный анализ» в п. В.6), на котором исследователь пытается 
проанализировать структуру связей между рассматриваемыми 
переменными и измерить степень их тесноты. После того как 
он убедится в наличии статистически значимых связей между 
анализируемыми переменными, он приступает к выявлению и 
математическому описанию конкретного вида интересующих 
его зависимостей: подбирает класс функций, в рамках которого 
будет вести свой дальнейший анализ (этап 4); производит, ес- 
ли это необходимо, отбор наиболее информативных предска- 
зывающих переменных (этап 5); вычисляет оценки для неизвест- 
ных значений параметров, участвующих в записи уравнения 
искомой зависимости (этап 6); анализирует точность получен- 
ного уравнения связи (этап 7). Этапы 4—7 и составляют содер- 
жание регрессионного анализа, описанию которого посвящен 
данный раздел. 

Но прежде чем переходить к изложению методов, составля- 
ющих аппарат регрессионного анализа, необходимо ввести и 
прокомментировать ряд основных понятий и определений. 


5.1. Функция регрессии как условное среднее 
и ее интерпретация в рамках 
многомерной нормальной модели 


Во введении при общей формулировке задачи статистического 
исследования зависимостей (п.В.|), при описании основных 
прикладных проблем, в решении которых используется аппа- 
рат статистического исследования зависимостей (п. В.4), и при 
классификации основных типов исследуемых зависимостей 
(п. В.5) мы, по существу, уже использовали понятие «функции 
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регрессии». Перед тем как сформулировать общее определение 
функции регрессии, вернемся к примерам В.[ и В.2 

В примере В.1 мы исследовали, как меняется средняя вели- 
чина удельных денежных сбережений семьи (1) в зависимости 
от ее среднедушевого дохода (Ё), причем усреднение денежных 
сбережений (п) производилось по всем семьям данной группы 
по доходам (т. е. при Ё = х). Другими словами, анализирова- 
лась зависимость условного среднего значения удельных семей- 
ных сбережений у, (х) = Е (п | & =х) от среднедушевого 
дохода х (см. табл. В.Г и рис. В.2). 

В примере В.2 анализировалось поведение показателя сред- 
ней долговечности (п) испытуемого образца в зависимости от 
величины характеристики эксплуатационного напряжения (х), 
где усреднение величины \ производилось по всем образцам, 
испытанным при заданном значении характеристики эксплуа- 
тационного напряжения х. Таким образом, речь опять идет об 
исследовании зависимости условного среднего значения ре- 
зультирующего показателя \ (вычисленного при условии, что 
объясняющая переменная приняла заданное значение х) от те- 
кущего значения объясняющей переменной (см. табл. В.4 и 
рис. В.5). 

Рассмотрим общую схему. Пусть значение исследуемого ре- 
зультирующего показателя { при данных фиксированных 
величинах объясняющих переменных х(1), х(?),..., х(Р) случай- 
ным образом флюктуирует вокруг некоторого (вообще говоря, 
неизвестного) уровня] (х(*), х(2),..., х(Р)), зависящего от кон- 
кретных значений предикторов х(1), х(?) ‚..., х{Р), т. е. 


ПЕ РОО, д, хех, 2, д), (5.0 


где остаточная компонента 8 (Х) определяет случайное откло- 
нение значения \ от постоянного (при фиксированных х0),..., 
х(Р)) уровня [. При этом наличие флюктуации = может быть при- 
суще самой природе эксперимента или наблюдения (как в при- 
мерах В.| и В.2), а может объясняться случайными ошибками 
в измерении величины ] (тогда является результатом несколь- 
ко искаженного измерения значения /). Когда говорят, что «не- 
которая величина (1) случайным образом флюктуирует вокруг 
определенного (неслучайного) уровня [», то, как правило, име- 
ют в виду, что среднее значение такой флюктуирующей слу- 
чайной величины должно быть равно }, т. е. Ец = {. Посколь- 
ку условия эксперимента и, в частности, уровень, около кото- 
рого флюктуирует п, зависят от конкретных значений хх, 
х(), ..., хр) некоторого набора объясняющих переменных, со- 
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ответственно Ё(), Ё(2), ..., ЕР), то из (5.1) и только что сказан- 
ного непосредственно следует 


Е (| ЕВ = 0), ..., Е) = хФ)) =, ..., ХР). (5.2} 


Функция [ (х(1), х(2), ..., `хР)), описывающая зависимость 
условного среднего значения ус, (Х) результирующего показа- 
теля п (вычисленного при условии, что величины предсказы- 
вающих переменных зафиксированы на уровнях х@), х(?) ,..., 
.... Х(Р)) от заданных фиксированных значений предсказываю- 
щих переменных, называется функцией регрессии. 

В общем случае для точного описания функции регрессии 
необходимо точное знание условного закона распределения 
результирующего показателя 4 (при условии, что Ё = Х). 
Поскольку в статистической практике мы никогда не распола- 
гаем такой информацией, то обычно ограничиваются поиском 
подходящих аппроксимаций для | (Х), основанных на исходных 
статистических данных вида (В.1) (о методах построения таких 
аппроксимаций см. гл. 7— 10). 

Однако в жестких теоретических рамках модельных допу- 
щений о типе распределения исследуемого вектора показателей 


(Е(), Е2),..., 82); 9) может быть получен общий вид функции 
регрессии /(Х) = Е (п | & =Х) (здесь, как и ранее, ЕЁ = 
== (0), ..., 2) и Х = (0), ..., ху). Так, например, если 


предиоложить, что исследуемый вектор переменных (&’; 1)” 
подчиняется (р -- !)-мерному нормальному распределению с 
вектором средних значений 


те ПХ 
М: , 

м где Ме:-| : |}, 
т, ° 


(р) 


и сковариационной матрицей 
У > 
[ее } 


т Отт 
где 
` 
"Отт 012 О: р Общ 
[9] 0... 0 02% 
ХЕ -= 21 22 2р |, УЕ -_. | 
Ор1 Ор Орр, Ору 
а 


др Е (Е — по) (Е — ви), 
Од = Е 5 —т(0) (\— т(т)), Оил = Е (7 — тт) )?, 
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то из (1.3) непосредственно следует 
Г(Х) = В (п[& = Х) = м + 51.58“ -(Х— МУ. (5.3) 


Таким образом, если` анализируемый многомерный признак 
{Е@>, ЕС), ..., Еф); 4) подчинен (р-Е 1)-мерному нормальному за- 
кону, то функция регрессии результирующего показателя \ по 
объясняющим переменным &(), Е), ..., ЁФ) имеет линейный 
(по Х) вид, а ее коэффициенты выражаются в терминах первых 
двух моментов анализируемых случайных величин. 

Происхождение термина «регрессия» (лат. «гевгезюп» —- 
отступление, возврат к чему-либо) связано только с приклад- 
ной спецификой одного из первых конкретных примеров, в ко- 
тором это понятие было использовано, но никак не с его обще- 
смысловым наполнением. Этот термин был введен английским 
психологом и антропологом Ф. Гальтоном в связи с вопросом 
о наследственности роста. Обрабатывая статистические дан- 
ные, Гальтон нашел, что сыновья отцов, отклоняющихся по 
росту на х дюймов от среднего роста всех отцов, сами отклоня- 
ются от среднего роста всех сыновей меньше, чем на х дюймов. 
Гальтон назвал выявленную тенденцию «регрессией к сред- 
нему состоянию» («гертез$1оп фо теФюсгИу»). Однако термин 
столь прочно внедрился в статистическую литературу, что 
мы не делаем попытки заменить его более подходящим для 


выражения существенных свойств понятия статистической 
зависимости. 


5.2. Функция А-регрессии как решение 
оптимизационной задачи 


В предыдущем параграфе обращается внимание читателя на 
то, что в статистической практике приходится ограничиваться 
поиском подходящих аппроксимаций для неизвестной истин- 
ной функции регрессии } (Х), поскольку исследователь не рас- 
полагает точным знанием условного закона распределения 
вероятностей анализируемого результирующего показателя 
(при условии, что объясняющие переменные #& приняли 
«значение», равное Х). 

В данном параграфе будет уточнено, что значит «подходя- 
щая аппроксимация», т. е. будут описаны критерии адекват:- 
ности модели, в соответствии с которыми естественно измерять 
качество предполагаемой аппроксимации [„ (Х) искомой функ- 
ции регрессии ] (Х) в том или ином случае. 

Общий оптимизационный подход к построению статисти- 
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ческих решающих процедур описан в [13] и кратко воспроиз- 
веден в [14, $ 1.2]. 


Остановимся на конкретизации этого подхода применитель- 
но к задачам статистического исследования зависимостей и, в 
частности, к задаче наилучшего восстановления (по исходным 
статистическим данным вида (В.Т) ) условного значения резуль- 
тирующего показателя \ (Х) = м | Е = Х) и неизвестной 
функции регрессии } (Х) = Е ч|Е =). С этой целью вос- 
пользуемся следующей схемой рассуждений. 


а. Введем функцию потерь о (ет. (Х)), измеряющую убыт- 
ки от неточности восстановления значения щ (Х) = {1|& =Х} 


с помощью функции [о (Х); здесь &, = \ (Х) — [и (Х), а 
функция р (и), как правило, монотонно неубывающая, чаще 
всего выпуклая, функция аргумента и с неотрицательными 
значениями (см. различные варианты функции ф в 65 7.2). 

6. Определим теоретический и соответствующий ему выбо- 
рочный критерии адекватности модели р (Х), используемой в 
качестве аппроксимации для неизвестного условного значения 
результирующего показателя п (Х) = (мщ | & =Х): 


теоретический А ({,) = Е 


«(^)); (5.4) 


( 
выборочный А, (1) = — Хр р(=г Х};). (5.4’) 


В (5.4) усреднение производится и по всем возможным значе- 


—^ 
ниям случайной величины =; (Х) (при каждом фиксирован- 


ном Х) и по всем возможным значениям Х , ав (5.4”) — по всем 
имеющимся наблюдениям. 


в. Зададимся классом допустимых решений Е, в рамках ко- 
торого будем вести 1 дальнейший поиск наилучшей, в смысле 


критериев А или А», аппроксимации ]& (или Я) для 1 (Х). 
При этом если в качестве класса Е задаются некоторым пара- 
метрическим семейством функций 


Ре = {[«(Х; 9)}шеег, (5.5) 


то задача подбора наилучшей аппроксимации [4 (или ра) сво- 


—^ 
дится к определению таких значений параметров @9* (или 9*), 
при которых некоторая агрегированная характеристика точ- 
ности восстановления значений \ (Х) по значениям } (Х; 9) 


(или /« (Х; 9)) является наилучшей (подход, основанный на ис- 
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пользовании в качестве класса допустимых решений Е парамет- 
рических семейств вида (5.5) называют параметрическим). 

г. Будем называть функцию /А (Х) функцией А-регрессии, 
если она дает прогноз для условных значений результирующего 
показателя \ (Х), являющийся наилучшим в смысле критерия 
адекватности А. Другими словами: 


# (Х)=ав пи А (р. (5.6) 
о ЕЕ 


Покажем (на примере квадратичной функции потерь, т. е. 
при ф (и) = и), что задача минимизации функционала (5.4) 
содержит задачу наиболее точного восстановления регрессии. 


Действительно, для критерия (5.4) справедливо тождество 
(см. п. 1.3.1) 


А (1) = |} 9—1, 0 ра 1 Х) в (Х) вах = 


Ху 


= 9—7 ри (1 Х) ре (Х) вах + 
ХУ 


+ | 6 ®-РОУ в ах 
Хх 


(здесь ри (И|Х) и ре (Х) — соответственно условная функция 
плотности результирующего показателя \ при условии, что 
Е = Х, и частная функция плотности предикторной перемен- 
ной &). 

Так как первое слагаемое в правой части этого тождества 
не зависит от функции р (Х), то минимум функционала А(}} 
определяется величиной второго слагаемого и достигается на 
такой функции [2 (Х) Е РЕ, на которой минимизируется погреш- 
ность описания истинной функции регрессии | (Х) с помощью 
функций из класса Е. 

В дальнейшем, чтобы отличать теоретическую версию этого 
определения (которая соответствует функционалу (5.4)) от 
выборочной (функционал (5.4')) и с целью упрощения обозначе- 
ний, будем полагать (если не требуется специальных поясне- 
ний, связанных с выбором критерия Д ) 


к. (Х) = В(Х; (5.7) 
Вх =Рь (Хх) (5.7') 


и называть их соответственно теоретической и выборочной ап- 
проксимациями истинной функции регрессии. Основанием для 
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подобной терминологии служат простые асимптотические соот- 
ношения,. связывающие в ряде достаточно общих случаев функ- 
ции /(Х) =Ем [Е =Х), Ё (Х) и их выборочные анало- 
ги (см. следующий параграф). 

Обратим внимание читателя на ряд частных случаев функ- 
ции потерьфр (и), широко используемых в теории и практике 
статистического исследования зависимостей: 

[) © (и) = и?; получаемая в соответствии с (5.6) регрессия 
называется среднеквадратической, а метод, реализующий ми- 


—^ 
нимизацию функционала А» (1), принято называть методом 
наименьших квадратов (см. $ 7.1); 
2) © (и) = |ш|; получаемая в соответствии с (5.6) регрессия 
называется среднеабсолютной (или медианной), а метод, рез- 


лизующий минимизацию функционала А» ({,), называют ме- 
тодом наименьших модулей (см. п.Т.2.1); 
3) р (и) = |и|*, гдет-+ со; можно показать, что в этом слу- 


чае минимизация критерия А» (1) сводится к минимизации (по 
й © Р шах | у; — К (Х)|, поэтому соответствующую регрес- 


>< 


сию называют минимаксной. 
Другие важные частные случаи А-регрессии читатель най- 
детв$ 7.2. 


5.3. Взаимоотношения различных регрессий 


Взаимоотношения истинной и А-регрессий существенно зави- 
сят от вероятностной природы регрессионных остатков & (Х) 
в моделях типа (5.1) и от способа выбора класса допустимых ре- 
шений ЕР. Попробуем вначале понять эти взаимоотношения на 
примере. 

Пример 5.1. Результирующий показатель связан с 
объясняющей переменной Ё соотношением 


1=2.81,5 в, (5.8) 


где регрессионный остаток = — случайная величина, подчиня- 
ющаяся нормальному закону распределения со средним зна- 
чением Её = Ои с дисперсией О = = 4, а диапазон возмож- 
ных значений & определяется ‚отрезком [2; 10]. Очевидно, ис- 
тинная функция регрессии в данном случае имеет вид 


<) =Е([Е=х) = 251.5. (5.9) 


Предположим, нам не известен точный вид соотношения 
{5.8) и соответственно не известно уравнение функции регрес- 
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сии (5.9). Однако мы располагаем следующей системой дву- 
мерных наблюдений (х;:, и;):=гэ, генерируемых моделью 
(5.8), т. е. связанных соотношением у; = 2х}? -| в; (табл. 5.1) 


Таблица 5.1 


Номер наб- 
людения (1) 1 


(х;) :-е 2 3 4 5 6 7 8 9 10 
наблюденное 
значение & 


(и;) 1-е 6,58 10, 67120, 91| 21,71 129,25 | 37, 64 | 44,67156,60| 61,33 
наблюденное 
значение 1 


Расположение точек — наблюдений на рис. 5.1 дает нам 
основание ограничить класс допустимых решений только ли- 
нейными зависимостями, т. е. определить в качестве класса до- 
пустимых решений параметрическое семейство 


Рлин = {9% 0, х}. (5.10) 


Имея априорную информацию о типе распределения регрес- 
сионных остатков, остановим свой выбор на квадратичной 
функции потерь. Решая оптимизационную задачу вида 


У (у; — 0 — 0: х;)* = ша, (5.11) 


=] 0%, в, › 


получаем оценки 605, 01 для неизвестных параметров 6., 0,, 
участвующих в записи аппроксимирующей функции {к (х)= 
—= 0, | 0, х. График соответствующей Г выборочной аппрокси- 


мирующей функции регрессии п (х) = 0* |0. .х изображен на 
рис. 5.1. Для сравнения на том же рисунке изображены гра- 
фики истинной функции регрессии } (х) = 2х и теорети- 
ческой аппроксимирующей функции регрессии р (х). Послед- 
няя характеризует результат, к которому мы бы неограниченно 
приближались (в смысле сходимости по вероятности), решая 
оптимизационную задачу (5.11) для неограниченно расширяю- 
щейся по объему выборки {(х;, и;)};=ти, П —> со. Поскольку мы 
«не угадали» класс допустимых решений (истинная функция 
регрессии не принадлежит к выбранному нами классу (5.10)), 
то в данном случае мы находимся в ситуации (к сожалению, 
достаточно типичной для практики статистических исследова- 
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ний), в которой наши статистические выводы и оценки не будут 
обладать свойством состоятельности. Другими словами, как 
бы мы ни увеличивали объем исходной статистической базы, мы 
не сможем добиться сходимости нашей выборочной аппрокси- 


мирующей функции регрессии /«(х) к истинной функции рег- 
рессии [ (х). 

Напротив, если бы мы правильно выбрали класс допусти- 
мых решений, что в данном примере означало бы 


Ест = {9охо: }, (5.12) 


0 1239445678 911 


Рис. 5.1. Взаимное расположение истинной, 
теоретической аппроксимирующей и выбо- 
рочной аппроксимирующей функций рег- 
рессии в примере 5.1: 
—— — — ©) ЕЦ =) =2 х"”; 
—— — а (х) =9 0х; 
—^ —^ — 
— [а (х) =965 1х 


то неточность в описании ] (х) с помощью [к (х) объяснялась 
бы только ограниченностью выборки, по которой строится функ- 
ция [а (Хх), и, следовательно, могла бы быть сделана сколь 
угодно малой за счет п —+ со. 

Сформулируем в заключение несколько общих положений, 
относящихся к сравнению различных функций регрессии: 
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а) истинная регрессия }(Х) = Е (м | Ё = Х) является од- 
новременно среднеквадратической, т. е. дает решение оптими- 
зационной задачи вида (5.6) при квадратичной функции потерь 
(© (и) = и?) и при отсутствии ограничений на класс допусти- 
мых решений Е (доказательство приведено в п.1.3.1); 

6) для широкого класса критериев адекватности А (|) 


выборочная аппроксимирующая функция регрессии ]‹ (Х) схо- 
дится (по вероятности) к теоретической аппроксимирующей 
функции регрессии ]« (Х) при п —> ©°; 

в) в случае удачного выбора класса допустимых решений, 
т. е. при] (Х) Е Е, теоретическая аппроксимирующая функ- 
ция регрессии [к (Х) (при надлежащем выборе критериев адек- 
ватности А) совпадает с истинной и соответственно выборочная 


— 
аппроксимирующая функция регрессии |, (Х) будет сходиться 
(по вероятности) к истинной; 

г) в случае неудачного выбора класса допустимых решений, 
т.е. при/ (Х)ЕЕЕ, ошибку в описании истинной функции рег- 
рессии / (Х) с помощью выборочной аппроксимирующей функ- 


ции регрессии /[, (Х) удобно представить в виде суммы двух 
компонент: ошибки выборки и ошибки аппроксимации. При этом 


ошибка выборки (разность [„ (Х) — р (Х)) при п —> со стре- 
мится (по вероятности) к нулю, в то время как ошибка ап- 
проксимации (разность | (Х) —[(Х)) не стремится к нулю 
ни при каком выборе критерия адекватности А. 

Обсуждение мотивов выбора вида функции потерь р (и со- 
ответственно критерия адекватности А) приводится в гл. 7. 


ВЫВОДЫ 


1. Центральное место в аппарате статистического исследования 
зависимостей между количественными переменными занимает 
понятие регрессии результирующего показателя п по объяс- 
няющим переменным &0), 842), ..., Еф). 

2. Функция { (Х), описывающая изменение условного среднего 
значения ур (Х) = Е и| Ё = Х) результирующего показа- 
теля \ в зависимости от изменения заданного значения Х 
предикторной переменной &, называется функцией регрессии. 
3. Для точного описания функции регрессии } (Х) = Е (= 
= Х) необходимо знание закона условного распределения 
результирующего показателя \ (при условии & = Х). В стати- 
стической практике ограничиваются оценкой (на основании 
имеющихся выборочных данных вида (В.1)) подходящих ап- 


проксимаций Ё, (Х) функции } (Х). 
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4. Наряду с приведенным выше классическим определением 
функции регрессии в теории и практике статистического иссле- 
дования зависимостей используются функции А-регрессии, 
являющиеся наилучшими прогностическими моделями для 
анализируемого результирующего показателя \ц (Х) в смысле 
минимизации заданного критерия адекватности (агрегирован- 
ной ошибки прогноза) А ({,). Функции А-регрессии позволяют 
подбирать наилучшие аппроксимации для неизвестной истин- 
ной функции регрессии. Кроме того, они представляют и само- 
стоятельный интерес, позволяя строить и анализировать иную, 
чем условное среднее, условную характеристику места груп- 
пирования результирующего показателя ч (Х) = (и = Х), 
обладающую в ряде ситуаций определенными преимущества- 
ми перед условной средней. 

5. Наиболее распространенными частными случаями А-рег- 
рессий являются среднеквадратическая, медианная и мини- 
максная регрессии. Весьма полезными являются и различные 
варианты так называемых «робастных» регрессий (см. 6 7.2). 
6. Соотношение истинной (7 (Х)), теоретической аппроксими- 


рующей (| (Х)) и выборочной аппроксимирующей ({, (Х)) рег- 
рессий существенно зависит от выбора критерия адекватности 
А (14) (определяемого природой регрессионных остатков :) 
и класса допустимых решений РЕ. В частности, даже при удач- 
ном выборе критерия адекватности А в ситуациях, когда истин- 
ная функция регрессии } (Х) не «накрывается» классом допус- 
тимых решений Е (т. е. когда } (Х) ЕЕ Е), выборочная аппрок- 


симирующая функция регрессии /, (Х) не будет стремиться к 
истинной при неограниченном росте объема выборки (отсутст- 


вие свойства состоятельности у [„ (Х), объясняемое неустрани- 
мостью ошибки аппроксимации). 

7. Истинная регрессия [(Х) = Е (|5 = Х) является одновре- 
менно среднеквадратической, т.е. дает решение оптимизаци- 
онной задачи вида (5.6) при квадратичной функции потерь (при 
отсутствии ограничений на класс допустимых решений РЕ). 


Глава 6. ВЫБОР ОБЩЕГО ВИДА 
ФУНКЦИИ РЕГРЕССИИ 


Собственно регрессионный анализ, т. е. восстановление по име 
ющимся наблюдениям предикторной переменной & и резуль- 
тирующего показателя 1] 


{(Хь, 1), (Х., Уз),... (Хп, Уп)} (6.1) 
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неизвестной функции регрессии / (Х) = Е (| =Х), начи- 
нается с выбора класса допустимых решений Е — класса 
функций, в рамках которого предполагается вести поиск на- 


иболее подходящей аппроксимации ]« (Х) для } (Х). 

Наиболее распространенными в статистической практике 
являются параметрические регрессионные схемы, когда в ка- 
честве класса допустимых решений выбирается некоторое пара- 
метрическое семейство функций 


Е —{7(Х; 9)}есг. (6.2) 


В этом случае дальнейший поиск аппроксимации [ (Х) сво- 
дится к наилучшему (в смысле заданного выборочного крите- 
рия адекватности, см. $ 5.2) подбору неизвестного значения 


—^ 
параметра ©*, что в свою очередь осуществляется с помощью 
полностью формализованного алгоритма решения соответству- 
ющей оптимизационной задачи, составляющей математичес- 
кую основу процедуры, называемой статистическим оценива- 
нием параметра. 

Но до перехода к процедуре статистического оценивания не- 
известного значения параметра мы должны сделать и обосно- 
вать определенный выбор типа параметрического семейства 
(6.2). Так, например, в качестве класса допустимых решений 
можно использовать 


р 
линейные функции: 1(Х; 9) =0,- У 60, -х%®; (6.2’) 
= 


степенные функции: [(Х; 9) = 6% (х2)8: (х(2)8з ... (хР)вв; (6.2”) 
алгебраические полиномы степени т >> 2: 


(ХХ; 9) = 0, я 9-х) -|- У У Ор, к, Хе) ХО --... 


Е1=1 Ё2==1 


г г [: В (Е ) Г; 
. У, ... У, 9, №2 .. Ву . (1). (Е)... тт (6.2”) 
—=1 


Е1=1 


ИТ. Д. 
Следует подчеркнуть, что этап 4 (см. $ В.6б), т. е. этап ис- 
следования, посвященный выбору общего вида функции регрес- 
сии (параметризация модели), бесспорно, является ключевым: 
от того, насколько удачно он будет реализован, решающим об- 
разом зависит точность восстановления неизвестной функции 
регрессии } (Х). В то же время приходится признать, что этот 
этап находится, пожалуй, в самом невыгодном положении: к со- 
жалению, не существует системы стандартных рекомендаций 
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и методов, которые образовывали бы строгую теоретическую 
базу для его наиболее эффективной реализации. 

Остановимся на некоторых рекомендациях, связанных 
с реализацией трех основных моментов, учет которых необхо- 
дим при решении проблемы выбора общего вида функции рег- 
рессии: 1) максимальное использование априорной информа- 
ции о содержательной (физической, экономической, социоло- 
гической и т.п.) сущности анализируемой зависимости; 2) 
предварительный анализ геометрической структуры исход- 
ных данных вида (6.1), на основании которых конструируется 
искомая зависимость; 3) различные статистические приемы 
обработки исходных данных, позволяющие сделать наилучший 
выбор из нескольких сравниваемых вариантов. 


6.1. Использование априорной информации 
о содержательной сущности 
анализируемой зависимости 


Анализируя содержательную сущность изучаемой зависимос- 
ти, исследователь еще до обращения к исходным статистичес- 
ким данным может (и должен!) попытаться ответить на ряд во- 
просов по поводу характера искомой регрессионной связи: 

а) будет ли искомая функция / (Х) монотонной или она 
должна иметь один (или несколько) экстремум? 

6) следует ли ожидать стремления (в процессе х(® -— осо) 
Г(Х) к асимптотам (по одной или нескольким предикторным 
переменным) и какова их содержательная интерпретация? Так, 
например, если } (Х) — средний объем благ определенного ви- 
да, потребляемых семьями группы Х по доходам, то, очевидно, 
при Х — сю следует ожидать «насыщения», т. е. }(Х) будет 
стремиться (снизу) к горизонтальной асимптоте (см. п. 4 и 10 в 
табл. В.З); 

в) какова принципиальная природа воздействия предик- 
торных переменных х0), х(?),..., х{Ф) на формирование резуль- 
тирующего показателя у — аддитивная или мультипликатив- 
ная? Так, например, многие схемы зависимостей в экономике и 
квалиметрии характеризуются мультипликативной природой 
воздействия предикторов на и (см. п. 1—3 в табл. В.З, а также 
[5]; 

Г) не диктует ли содержательный смысл анализируемой за- 
висимости обязательное прохождение графика искомой функ- 
ции } (Х) через одну или несколько априори заданных точек в 
исследуемом факторном пространстве (Х, и)? 

Поясним необходимость и возможность максимального изв- 
лечения информации об общем виде анализируемой функции 
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регрессии / (Х) из соображений профессионально-теоретичес- 
кого характера на двух примерах. 

Примерб.1. На рис. 6.1 представлены 63 результата 
специального эксперимента [50, с. 57]. Расположение точек на 
рис. 6.1 не дает ответа на вопрос, описывать ли зависимость 
между скоростью автомобиля (х миль/ч) и расстоянием (у 


футов), пройденным им после поданного сигнала об остановке, 
линейной или параболиче- 


ской зависимостью. $976 
Этот вопрос остается без ? 
ответа и после построения Ш | 
соответствующих кривых и 00 
применения известных ста- я? 
тистических критериев, 
предназначенных решать, 9 
насколько хорошо согласу- 40 
ются кривые с эксперимен- 2 у 
тальными данными. Однако «фи 
несложные рассуждения 061 20 5 9 тм 


профессионально-теорети- Рис. 6.1. График зависимости тор- 


ческого характера все-таки —мозного пути автомобиля (у) от 
позволяют сделать ЭТОТ скорости его движения (х) 


выбор. Действительно, для 

каждого отдельного автомобиля и водителя расстояние, 
пройденное до остановки, определяется в основном тремя фак- 
торами: скоростью автомобиля (х) в момент подачи сигнала об 
остановке, временем реакции на этот сигнал водителя (6;, 
ч) и тормозами автомобиля. Автомобиль успеет пройти путь 
9,х до момента включения водителем тормозов и еще 0.-х2 
после этого момента, поскольку согласно элементарным физи- 
ческим. законам теоретическое расстояние, пройденное до оста- 
новки с момента торможения, пропорционально квадрату ско- 
рости. 

Итак, у = 6: х- 0.х?, что после оценивания 0, и 6. с по- 
мощью мик (см. гл. 7) даету = 0,76х--0,056х?. 

Пример 6.21. Рассмотрим в качестве результирующего 
показателя \ вес коровы, а в качестве предикторов &@) — ок- 
ружность ее туловища и &(2) — длину от хвоста до холки. Ста- 
вится задача определения регрессионной зависимости 


у=1(х(), х(2)) = В (10) = хо, (2) — х(2)) 


1Исходные данные примера заимствованы у А. Я. Боярского и пуб- 
ликуются с его любезного разрешения. 
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по результатам контрольных замеров {х/?, х@>, у;}; 1,2»... ,20 
20 коров. 

Были подвергнуты расчету и сравнительному анализу три 
варианта параметризации модели: 


вариант 1 (линейный): [(х(), х(2)) = 9 о + 0.1 «о -0,. х(2); 
вариант 2 (степенной): [(х@), (2) = 05 (х03)6з1 (х42))0,:; 


вариант 3 (учитывающий содержательный смысл задачи): 
Е (х, х()) = 0 (ха)? х(2). 

Происхождение варианта 3 легко объяснить. Для этого 
следует представить себе приближенно тушу коровы в форме 
цилиндра с длиной образующей, равной х“?), и радиусом ос- 
нования, равным х(1)/2л. Используя формулу вычисления объ- 
ема цилиндра и пропорциональную зависимость между весом 
и объемом цилиндра, получаем зависимость вида 


1=0 (%(1))2 х(2) -|- в, 


где остаточная компонента = отражает специфику формы туло- 
вища каждой конкретной коровы. 

Для проверки работоспособности всех трех вариантов моде- 
лей были проведены два цикла расчетов по методу наимень- 
ших квадратов (см. гл. 7). Вначале были оценены коэффициен- 
ты 0 моделей ло всем 20 наблюдениям и подсчитаны (по тем же 
20 наблюдениям) характеристики «качества» моделей: множест- 
венный коэффициент корреляции К, |,(1) „(з)) (см. формулу 
(1.24’)) и остаточные среднеквадратические отклонения 


бост == Ил. (р = И У (у:—| (х20, х}”; 9): (6.3) 


к | 

(здесь тм — размерность оцениваемого векторного параметра 
9, а А, (Г) отлинается от выборочного критерия адекватности 
А. (Г лишь множителем —> см. формулу (5.4')). 


Результаты первого цикла расчетов приведены в гр. 2, Зи 
4 табл. 6.1. Из них как будто следует, что формально-аппрокси- 
мационные варианты | и 2 оказались несколько точнее вари- 
анта 3, выбранного с учетом содержательного смысла задачи. 

Однако «благополучие» моделей Ги 2 лишь кажущееся, 
что и выявляется в ходе второго цикла вычислений, когда имею- 
щаяся выборка из 20 наблюдений была разбита на две: первая, 
состоящая из 10 тяжелых коров, была использована для оцен- 
ки параметров по методу наименьших квадратов (такие выбор- 
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ки называют обучающими), а вторая, состоящая из 10 легких 
коров, была использована для оценки величины выборочного 


—^м 

критерия адекватности А» (/) (такие выборки называют экзаме- 
нующими!). Из гр. Би 6 табл. 6.1 мы видим, что формально- 
аппроксимационные варианты моделей не выдержали «экза- 
мен» на устойчивость (сравните значения коэффициентов 0 
в гр. 2и5), и, кроме того, дают явно худшую точность при их 
использовании в задачах экстраполяции (сравните первые две 
строки с третьей в гр. 6). 


Таблица 61 


Результаты расчетов по всем 
20 наблюдениям 


= о $ Оценки 
5. 23 НК - 
= >  иснтов рии УА, о ({) 
= оценки коэфф . 9 по 10 тяжелым | по 10 лег- 
го | моем | 5 | У Ч ант 
ов 8 
Я . 
55 «” 
О ПО” ООИИЯ ООО ООО О” ОИЯИ" ИЯ ое 
6, „-=—984.7 0. —453.2 
|5. —473 0, 84 25.9 |6 об 81 
6, —4,70 0, .—=—0,22 
О О, ОНИ ОО ООО 
0. ,—0, 0011 0, —=266,4 
2 1556 0,85 21.5 |5 0.203 79 
= 1,018 9, .——0, 072 
3 | 0—1,13.10- 0,83 26,6 | ©—=1,11.10-4 | 28 


Этот пример убедительно демонстрирует, помимо предпочти- 
тельности экстраполяционных и «устойчивых» свойств мо- 
дели 3, что не следует гнаться за чрезмерной сложностью моде- 
ли, ориентируясь при этом на минимизацию выборочного кри- 


\Подробнее о разбиении выборки на обучающую и экзаменующую 
см. гл. 11. 
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—^— 
терия адекватности А» (Г), когда и оценки неизвестных значе- 


-—^щ 
ний параметров © модели и значение критерия А» (Г) вычисля- 
ются на основании одной и той же выборки. Несостоятельность 
подобного подхода можно пояснить и теоретически: в соответст- 
вии с известным в математическом анализе результатом для 
любой заданной системы из п точек плоскости (х1, и), ..., 
(хп, Ип) (с неповторяющимися абсциссами) можно подобрать 
такой алгебраический полином степени и — |, который прой- 
дет через все точки этой системы. А значит, увеличивая число 
параметров в параметрическом семействе функций, задающем 
класс допустимых решений, мы можем добиться «идеальной 


точности» в смысле нулевого значения критерия Д„ (]). 
На том, чего и как надо добиваться в действительности, 
мы подробнее остановимся в $ 6.2, 6.Зивгл. 11. 


6.2. Предварительный анализ 
геометрической структуры исходных данных 


При выяснении вопроса о параметрическом виде исследуемой 
зависимости, как правило, идут от простого к сложному. 
Простейшей же аппроксимацией неизвестной функции регрес- 


сии }(Х) =Е(ц|Ё = Х) является, естественно, линейная 
модель, т. е. функция вида 


Га (Х) = 9, + 0, Хх) --...-- 0, х®. (6.4) 


В предыдущей главе (см. п. 5.1) уже упоминалось, что если 
анализируемые переменные (4%), 2), ..., ЕФ); 1) подчиняются 
(р - П-мерному нормальному закону распределения, то ис- 
тинная функция } (Х) регрессии ' по Ё0),..., ФР) принадле- 
жит классу линейных (по х(*®), К = 1,2,..., р) функций (6.4). 
Однако статистическая проверка многомерной нормальности 
изучаемой векторной случайной величины относится к зада- 
чам, до сих пор плохо оснащенным достаточно эффективным 
инструментарием для их решения (см. сноску к с. 152 [14]. 
К тому же возможны ситуации, когда анализируемый много- 
мерный признак (Ё0),..., Е); 1) не является нормальным, 
но в то же время регрессия м по (Ё@),..., &Ф)) линейна. 

Поэтому при предварительном анализе характера исследу- 
емых зависимостей (т. е. до проведения вычислительных про- 
цедур по оценке неизвестных значений параметров, входя- 
щих в гипотетичные уравнения связей) ограничиваются неко- 
торыми приближенными эвристическими приемами, связанны- 


180 


ми в основном с изучением «геометрии» парных корреляцион- 
ных полей. 

6.2.1. Содержание геометрического анализа парных корреля- 
ционных полей. Под корреляционным полем переменных (и, и) 
понимается графическое представление имеющихся измерений 
(ил, 91), (Ша, 92),...› (Ив, 9п) этих переменных в плоскости (и). 
Мы уже неоднократно имели дело с корреляционными полями 
(см. рис. В.2, В.4—В.7, 1.1, 5.1, 6.1). 

Анализ парных корреляционных полей состоит обычно в 
следующем: 

а) построение на основании имеющихся исходных данных 
вида (6.1) корреляционных полей для всевозможных пар пере- 
менных вида (хх, х“®)) и (хФ, и), отобранных из набора всех 
р -- 1 исследуемых признаков (х(), х@), ..., х@); и); всего 
таких пар будет, очевидно, р (р -| 1)/2, однако процесс этот 
легко автоматизируется с помощью средств современных 
ЭВМ; 

6) визуальное прослеживание характера  вытянутости 
каждого корреляционного поля: эллипсоидально-линейное 
(см. рис. В.6), нелинейно-монотонное (см. рис. 6.1), с наличи- 
ем одного или нескольких экстремумов (см. рис. В.4) ит. п.; 

в) изучение поведения условных средних значений ре- 
зультирующего показателя при изменении величины перемен- 
ной, откладываемой по оси абсцисс и играющей роль предик- 
торной (см. рис. В.2); для этого (если значения предикторной 
переменной неконтролируемы в ходе наблюдения или экспе- 
римента) предварительно разбивают диапазон значений объ- 
ясняющей переменной на интервалы группирования (см. 
[14], п. 5.4.2) и подсчитывают средние значения ординат тех 
точек-наблюдений, которые попали в общий интервал груп- 
пирования. 

В результате такого анализа обычно получают формули- 
ровку нескольких рабочих гипотез об общем виде искомой за- 
висимости, окончательная проверка которых и выбор наибо- 
лее адекватной из них осуществляются (при отсутствии апри- 
орных сведений содержательного характера) с помощью соот- 
ветствующих математико-статистических методов. Описа- 
ние наиболее эффективных, с нашей точки зрения, приемов 
такого типа приводится в $ 6.3. Здесь же остановимся на двух 
вспомогательных приемах, которые полезно использовать 
при геометрическом анализе парных корреляционных полей. 
6.2.2. Учет и формализация «гладких» свойств искомой функ- 
ции регрессии. Выше упоминалось, что чрезмерное усложне- 
ние класса допустимых решений Е и, в частности, завышение 
порядка аппроксимирующего регрессионного полинома (в ио- 
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гоне за снижением значения выборочного критерия адекват- 


—>— 

ности А» ()) может привести к неоправданному усложнению 
вида искомой функции | (х) = Е Е — = х), когда случайные 
отклонения исходных ((х1, /;), Г = 1,..., п) или условно осред- 
ненных пот ((х?, у»), Ё = 1,5) точек неправильно истолковы- 
ваются как определенные закономерности в поведении регрес- 
сионной кривой. На рис. 6.2 представлен наглядный пример 
такого переусложнения, когда, располагая таблицей исход- 
ных данных вида табл. 6.2 


хх о чъ оз © << 


0248 рифб в Пт 


Рис. 6.2. Аппроксимация регрессионной функ- 
ции у=|0о9.х (пунктирная кривая) с по- 
мощью полинома 3-го порядка 


Таблица 6.2 


|: | | 2 3 4 
ХА | | 2 4 16 
Уср (х#) 0 ] | 2 4 


и подбирая аппроксимирующий полином 
ра (х) = 0 - 9.х- 0.х? -+- 9.хз, 
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проходящий через все заданные точки (х&, У ср (хЁ)), Е =1, 
... 4*, приходят к необоснованному нарушению гладкости 
неизвестной истинной функции регрессии [ (х) = 108.х. Из 
рис. 6.2 мы видим, что это нарушение гладкости уводит нас 
достаточно далеко от истины как для значений х, располо- 
женных внутри отрезка [5; 15], так и при х > 17. Поэтому не 
следует забывать, что если истинный общий вид функции рег- 
рессии нам не известен и мы вынуждены ее формально аппро- 
ксимировать (например, алгебраическим полиномом), то вся- 
кая интерполяция и тем более экстраполяция * построенной 
нами аппроксимационной функции регрессии является, строго 
говоря, действием, теоретически не обоснованным. Приведен- 
ный пример предупреждает нас о необходимости быть очень 
осторожными при истолковании и применении регрессионных 
уравнений, не использующих специальные сведения об изу- 
чаемом процессе или явлении. 

Интуитивные соображения относительно соблюдения необ- 
ходимых свойств гладкости, высказываемые при выборе об-. 
щего вида функции регрессии } (х), могут быть формализованы 
с помощью так называемых функционалов гладкости Г. (7). 
Эти функционалы? устроены таким образом, что чем более 
гладкой, более плавной является функция ] (х), тем меньшее 
числовое значение они принимают. Нетрудно показать, что к 
такого рода функционалам относятся функционалы вида 


(р = тах!" (9) 120 = | (ах, 
< 
13 (9) = (Род ах 
Хх 


Приведем пример, в котором выбор функционала гладкости 
и требование его минимизации поддаются четкой физической 
интерпретации. Формально задача выглядит так. Рассматри- 


*Очевидно, подбор числовых значений 0; (] = 0, 1, 2, 3) осуществ- 
ляется с помощью решения системы уравнений уср (х1) = 0, -- 0, хо 


- 6. (х2)2 - 6, (х%)3, Е = 1,2, 3,4, которое в данном случае дает: 


^^ —— б—щЩ — 
0, = —1,410; 0, = 1,633, 09, = —0,233; 0, = 0,0095. 
1Интерполяция — восстановление значений функции (в данном 
случае — функции регрессии) по значениям аргумевта, расположен- 
ным внутри статистически обследованной области предикторных пе- 
ременных. Экстраполяция — восстановление значений функции рег- 
рессии по значениям аргумента, расположенным вне статистически обсле- 
дованного диапазона предикторной переменной. 
Функционал Г (1) ставит в соответствие каждой заданной функции 
7(х) некоторое число Г, (7). 
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вается парная регрессионная схема типа В (см. 8 В.5) 
= (*) - г (*) 


с известной величиной дисперсии остаточной случайной компо- 

ненты 2 (х): О е (х) = о0°. 

Имеются результаты наблюдений (хи, и1), (хо, и2), ..., (хп, И). 
Требуется определить такую выборочную аппроксимацию 


[о (х) функции регрессии } (х), для которой одновременно вы- 
полнялись бы условия 


— У (и 00 = 0%; (6.5) 
(= 1 


со 


} Ро Ах = пи | [о (х) 4х. 


Другими словами, из всех функций, для которых остаточ- 
ная дисперсия равнялась бы заданной величине 0*, мы должны 
выбрать наиболее гладкую в смысле минимизации функционала 
гладкости Ё. (/). Можно привести пример простой физической 
интерпретации формальной модели (6.5): если мы рассмотрим 
бесконечную тонкую гибкую рейку, закрепленную в точках 
(х1, 1), (хо, И2), ..., (хп, Уп), НО закрепленную не «намертво», 
а спомощью пружинок заданной силы (пропорциональной ов”), 

.—^ 


то эта рейка изогнется как раз по кривой у = }, (х), определя- 
емой соотношениями (6.5). 

Более подробно о результатах, относящихся к решению за- 

дач типа (6.5), см. [123]. 
6.2.3. Некоторые вспомогательные преобразования, линеари- 
зующие исследуемую парную зависимость. Часто при рассмот- 
рении парных корреляционных полей ни линейная, ни полино- 
миальная` регрессия не дают желаемой точности приближения. 
В этих случаях приходится обращаться к другим видам зависи- 
мостей: гиперболической, степенной, показательной и др. По- 
кажем, что в ряде ситуаций эти зависимости оказываются не 
менее удобными, чем линейная, поскольку легко к ней сводят- 
ся. 

Так, в примере В.2 при исследовании зависимости между 
долговечностью образцов М и величиной соответствующего экс- 
плуатационного напряжения и роль зависимой переменной иг- 
рает величина т == 1 (М — М.), а аргумента — х = |в9. 
Поэтому, исследуя линейную зависимость между 1 их, мы 
в действительности исследуем соотношение степенного вида 
между исходными переменными М иу, а именно зависимость 
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вида М — №, = А, -08:, где №, Ау и 6, — некоторые постоян- 
ные величины, две из которых (1 и 61) подбираются с помощью 
метода наименьших квадратов (см. гл. 7). 

Перейти от степенной зави ямости к линейной нам позво- 
лило логарифмическое преобразование переменных. 

Какие же функциональные зависимости поддаются ли- 
неаризации, каковы их основные свойства, геометрическая 
интерпретация? С помощью каких преобразований переменных 
сводятся они к линейному виду? 

Итак, пусть ’и х’— исходные переменные (соответствен- 
но функция и аргумент), связь между которыми подлежит ста- 
тистическому исследованию. И пусть между ними существует 
зависимость 


= РО) += (т, х), (6.6) 
где \’— случайная зависимая переменная, х’— аргумент 
(случайный или неслучайный), } (х’) — некоторая функция 


отх’, аз’ (1’, х’) — так называемая остаточная случайная ве- 
личина, характеризующая разброс случайных значений 1’ 
около функции] (х’), которая в самом общем случае может за- 
висеть (стохастически) и отп’, и отх’. Поскольку математичес- 
кое ожидание остаточной случайной величины =’ (п’, Хх’) при 
любых |’и х’ равно нулю, то из (6.6) следует, что условное 
среднее Е (м’|х') = У’с_ (х’) связано с х’ соотношением 
7 Г ’ 
Уср(*) =[(*). 

Рассмотрим некоторые наиболее распространенные типы 
зависимостей [ (х’) и способы их линеаризации. 

Зависимости гиперболического типа (рис. 6.3, 6.4, 6.5) 

7! ? 

1) ур=а’ и (0О<х <). 


Этот тип кривых (рис. 6.3) характеризуется двумя асимптота- 
ми (прямыми, к которым график функции неограниченно при- 
ближается, не достигая их): горизонтальной у = а' и верти- 
кальной х’= 0, атакже параметром искривления 6. С помощью 
преобразования независимой переменной х = 1/х' (т. е. пере- 
хода к новому аргументу) эта зависимость приводится к линей- 
ному виду у = а’ -{ 5х; 
, 1 а’ 

ии - <*<). 

В этом случае имеются две асимптоты: у’ =0 и х= 
—=— а’/6 (рис. 6.4). Параметр, характеризующий искривление, 
равен 1/6. Зависимость линеаризуется с помощью перехода к 
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Рис. 6.3. График гиперболической завн- 
симости вида у=а’-+Ь/х” 


новой зависимой переменной п = 1/\’ (для выборочных значе- 
ний у: = 1/91); 


ах, -Ь = а’ Ь/х’ 


Рассматриваемые кривые (рис. 6.5) имеют горизонтальную 
асимптоту и’ = 1/а’, вертикальную асимптоту х’ = — В/а’ 
и характеристику искривления, равную — 6/а’?. С помощью 


Ул 


Рис. 6.4. График  гиперболической зависимости вида 
у’ =1/(а’-+ 5х): 
а) случай 5 >>0, а’< 0; 6) случай $<0, а’<0 
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Рис. 6.5. График гнперболической зависимости вида 
у’==х’/ (ах --Ь): 

а) случай «положительного» исправления (—6/а’2> 
>0); 0) случай «отрицательного» исправления 
(—0/а'2< 0) 


перехода к переменным = 1/’ их = И/х’ кривые приводятся 
к линейному виду. 
Зависимости показательного типа (рис. 6.6, 6.7, 6.8) 


1) ух=: Де (— сю <х- оо). 

Кривые (рис. 6.6) проходят через точку (0,4), причем ось х 
является их горизонтальной асимптотой. Если вместо 1’ 
{соответственно и;) в качестве зависимой переменной рас- 
смотреть величину 1 = шШ\’ (соответственно и; = ши), 
то данная зависимость преобразуется к линейному виду Уср= 
= а’-- 6х, в котором а’ = шА; 


2) уср= Аеё/х' (0<х’ < о). 


Приб > 0 кривая (рис. 6.7, а) имеет горизонтальную асимп- 
тоту у’= А и вертикальную асимптоту х’ = 0. Приб < 0 


и То и ти 
А 
— — 
(! Ул МА 


Рис. 6.6. График показательной (экспоненциаль- 
ной) зависимости вида у’—=Аех; а) случай 
6>0; 6) случай 6<0 
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(рис. 6.7, 6) кривая проходит через начало координат, имеет 
так называемую «точку перегиба» ( — 5/2, А/е?) и горизонталь- 
ную асимптоту у’ = А. Переход к переменным п = Шт’ 
(соответственно и; = пу;) их; = !/х; позволяет линеаризо- 
вать и эту зависимость, причем в преобразованном виде у‹р= 
= а’-- 6х, параметр а’ = Шш 4; 


—_ (—-<2<<х <). 


3) гр — а’-- бе 


0 МАМ Г. т’ 


Рис. 6.7. График показательной (экспоненциальной) 
зависимости вида 1’=Ае?/=’; а) случай 6>0; 
6) случай 6—0 


Частный случай так называемой «логистической» кривой по- 
казан на рис. 6.8. Кривая имеет две горизонтальные асимпто- 
ты у’ =0 иу’' = 1/@' и «точку перегиба» (ш (6/а’), 1/2а). 
Линеаризация этой зависимости производится с помощью пере- 
хода к новым переменным ц = 1/4’ (соответственно и; = 1/и;) 
их =ех. 

Зависимости степенного типа (рис. 6.9) 


Уср = Ах? (0(<х’ < о). 


Рис. 6.8. График логистической 

кривой, описываемой уравненнем 
“—_ Га -—х’ 

вида у’ =1/(а’-+6е-=’) 
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Рис. 6.9. График степенной зависимости вида 
и=А(х)в: 
а) случай 5 >0; 6) случай 6<0 


Все кривые на рисунке проходят через точку (1, А), причем 
если Б >0, то они проходят еще и через начало координат — 
точку (0, 0), аесли 5 < 0, то координатные оси являются од- 
новременно асимптотами. Перейдя ‘к новым переменным 

= ши’ (соответственно у; = пу; и х= Шх’, мы преобра- 
зуем исследуемую зависимость к линейному виду. 

Зависимости логарифмического типа (рис. 6.10) 


Уср=а’ -5.шх’ (0< хо). 


Кривые на рисунке проходят через точку (1, а’) и имеют в 
качестве вертикальной асимптоты ось и (т. е. х’ = 0). Пере- 
ход к линейному виду зависимости, осуществляется с помощью 
логарифмического преобразования аргумента: х = шх. 


Рис. 6.10. График логарифмической зависимости 
вида у=а’--б. пл’: 
а) случай 5 >0; 6) случай $<0 
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Замечание. Линеаризация связей с помощью преоб- 
разования исследуемых переменных имеет недостаток. Оценки 
параметров а’ и Ь, полученные затем (после линеаризации) с по- 
мощью метода наименьших квадратов, на самом деле не мини- 


—^. 1 п 
мизируют сумму квадратов отклонений Д» (а’, 6) = - 2 @:— 
{= 


—{(х:))* для исходных переменных п’ и х’. Они лишь миними- 
зируют сумму квадратов отклонений преобразованных значе- 
ний зависимой переменной у; от соответствующей регрессион- 
ной прямой у = а’ -{ 6х, т. е. квадратичную форму 


п 
\Р) (а’ Бе —а’— 6х, 
п (а , ) п У (у; а Ьх;) , 


1=1 


а это не одно и то же. Предлагается поэтому производить опре- 
деленную «доводку», уточнение оценок неизвестных значений 
параметров, полученных с помощью линеаризации связей 
[10, с. 172]. 


6.3. Математико-статистические методы 
в задаче параметризации модели регрессии 


6.3.1. Компромисс между сложностью регрессионной модели 
и точностью ее оценивания". Из общих результатов математи- 
ческой статистики, относящихся к анализу точности оценива- 
ния исследуемой модели при ограниченных объемах выборки, 
следует, что с увеличением сложности модели (например, раз- 
мерности неизвестного векторного параметра ©, участвующего 
в ее уравнении) точность оценивания падает. Мы с этим уже 
сталкивались, например, при анализе точноети оценивания 
частных и множественных коэффициентов корреляции (см. 
п.[.2.3, 1.3.3, а также формулы (1.34), (1.34°)). Об этом же 
свидетельствуют и результаты, приведенные в гл. 11. Это озна- 
чает, в частности, что в ситуациях, когда исследователь распо- 
лагает лишь ограниченной исходной выборочной информацией, 
он вынужден искать компромисс между степенью общности 
привлекаемого класса допустимых решений Е и точностью 
оценивания, которой возможно при этом добиться. 

Перед тем как изложить общую схему, в рамках которой 
можно математически ставить и решать задачу достижения та- 


1В изложении материала п. 6.3.1, связанного с понятием «емкости» 
(сложности) класса допустимых решений Е и с методом структурной 
минимизации критерия адекватности, участвовал В. Н. Вапник. 
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кого компромисса (метод структурной минимизации критерия 
адекватности [34]), поясним эту идею на следующем полуэври- 
стическом приеме решения одной частной задачи. 
Определение оптимального числа предикторов в модели ли- 
нейной множественной регрессии. Пусть мы строим линейную 
множественную регрессию результирующего показателя \ по 


предикторам (х@), х(?), ..., х{Р)), используя для этого выборку 
ограниченного объема 
{х1, х{*, ..* х(Р), ;):=1, 2, ...» П› (6.7) 


причем величины р и п — одного порядка (но р<п— 1) 
Очевидно, в данном случае сложность модели будет определять- 
ся числом включенных в нее предикторов. Нужно ли для дости- 
жения максимальной точности в задаче восстановления неиз- 
вестных значений результирующего показателя п по значени- 
ям предикторов включать в модель все предикторные перемен- 
ные, а если не все, то сколько и какие именно? 

С одной стороны, мы уже знаем (см. (1.30)), что присоедине- 
ние каждой новой предсказывающей переменной может только 
увеличить величину множественного коэффициента корреля- 
ции А между результирующим показателем \ и предикторами 
и, следовательно, уменьшить ошибку в предсказании 1 (Х) (см. 
(1.26)). С другой стороны, нам известны не мочные значения 
теоретических характеристик Ю, участвующих в (1.26) — 
(1.30), а лишь их выборочные аналоги — статистические 

—^м 


оценки ВЮ. 

Поэтому естественно было бы добиваться максимизации не 
К*, а нижней доверительной границы (К*)т" для истинного 
значения коэффициента детерминации Ю? (при заданной довс- 
рительной вероятности Р). Если принять приближенное допу- 
щение, что (К?) т" меньше точечной оценки 7. на величину, 
пропорциональную среднеквадратической ошибке 0 = 


— У Ба: (множитель пропорциональности ^, (Р), конечно, 


зависит от заданной величины доверительной вероятности Р), 
и воспользоваться приближенной формулой (1.34’), то получа- 


ем следующую формулу для определения (В?)р": 
(ет => ВХ (Р). РР (1 а, (6.8) 


(п— 1) (1—1) 


Опираясь на (6.8), можно предложить следующую процеду- 
ру определения оптимального состава и числа предикторов мо- 
дели множественной линейной регрессии. 


191 


Последовательно для каждого А=1,2,....р с использова- 
нием формул (1.27), (1.28), (1.35’) рассчитывается величина 


— —^ 
2 — 2 
К (=, тах — К. ви) 25). Ч? (6.9} 
1% #29 чооу м: 
а затем по формуле (6.8) — величина (К? (®))т!". Тем самым 
для каждой заданной размерности Ё модели уже выявлен оп- 
[2 { . 
тимальный состав предикторов: это тот набор (х(1), х(), 
{* 
., х( 1), на котором достигается максимум правой части 


(6.9). 


ВАК) 


(е))"" 


— —. 
— 


129 Е о р 


Рис. 6.11. Зависимость нижней доверительной 
границы коэффициента детерминации от числа 
предикторов (пунктирная кривая) 


На рис. 6.11 представлены схематические графики величин 


а 
К (Е) и (К? (Е))т"" как функций от А. 

В качестве оптимального числа предикторов, включаемых в 
модель, естественно взять то значение А,, для которого величи- 
на (А? (^))"'!" максимальна. 

Метод структурной минимизации критерия адекватности. 
Опишем теперь, следуя [34], общую схему, в рамках которой 
решается задача выбора оптимальной сложности параметричес- 
кого семейства {} (Х; 9)}, используемого в качестве класса до- 
пустимых решений БЕ, в зависимости от объема п и геометричес- 
кой структуры исходных данных (6.7). Общая логика, на кото- 
рой построена эта схема, та же, что и логика решения предыду- 
щей задачи: и та, и другая опираются на умение дать гаранти- 
рованную оценку оптимизируемой теоретической характерис- 
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тики (в общей схеме — оценку сверху для теоретического кри- 
терия адекватности А (9) = АС} (Х, 9)) по значению соответ- 
ствующей выборочной характеристики (в общей схеме — по 


— 

А (9) = А, (1 (Х; 9)). Однако в условиях полного отсутствия 
какой бы то ни было априорной информации о характере сов- 
местного распределенияр (Х, и) исследуемых переменных (&, \} 
никаких надежных заключений о величине А (9) по значению 


> 
А (9) сделать нельзя. Минимальная информация такого рода, 
используемая в описываемом методе, состоит в том, чтобы для 


некоторого 4 > 1 знать величину Л., определяющую нера- 
венство 


ар ИЕМ-НХ; 6) 
еег Е(у—Р(Х; 0))? 


/^ 


ла. 


Ниже в целях упрощения формулировок будем требовать 
выполнения неравенства для случая 4 = 2: 


УЕ(-РС; 9) 


< ^. (6.10) 
вег Е(у—[(Х; 9): 


Априорная информация, заданная в терминах неравенства 
(6.10), является более практически доступной, чем обычно ис- 
пользуемая связанная с типом распределения регрессионных 


остатков. Так, если параметрическое семейство случайных ве- 
ЛИЧИН 


= (Х; 9) =у—Р(Х; 0) (6.11) 


таково, что каждая случайная величина # (Х; 9) распределе- 
на по нормальному закону (со своими параметрами, зависящи- 


ми от 9), то =] 3; если семейство (6.11) подчинено закону 
Лапласа [14, п. 6.1.8], то А, = У 5; если же (Х; 9) подчинено 


равномерному закону распределения, то А = У 2. Неравенство 
(6.10), по существу, характеризует особенности поведения 
«хвостов» в случайной выборке наблюдений (6.7). 

В ситуации, когда соблюдается условие (6.10), метод струк- 
турной минимизации критерия адекватности может быть по- 
строен на основе емкостных характеристик класса функций 
{7 (Х; 9)}, в котором ведется восстановление регрессии. Ниже 
мы используем одну из возможных таких характеристик — 
емкость (или сложность) класса функций {{(Х; 9) } ег. 
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Для определения понятия «емкость класса {{(Х; 9)}эег» 
введем множество индикаторных функций 


{7 (Х; у; 9, В)} = {вп (у — [(Х; 9) В}* 
на элементах (Х;, и;) выборки (6.7). 

Индикаторные функции определяются параметрами ©, В, 
где 9 Е ГЬ— параметры, определяющие } (Х; 0), и В — некото- 
рое число из интервала (— об, со). Каждая индикаторная функ- 
ция / (Х, у; 9*, В*) делит выборку (6.7) на две подвыборки: 
подмножество пар, на которых индикаторная функция прини- 
мает значение -|- |, и подмножество пар, на которых инди- 
каторная функция принимает значение — |. Обозначим. 
МГ(Х1, и; Хь, 12... Ап, Уп) количество различных разде- 
лений множества (6.7) на два подмножества: с помощью инди- 
каторных функций из класса {/ (Х, у; ©, В} оег. Очевидно, что 


МТ (Х,, Ут, ...9 Х», у} < 27. 
Определение. Назовем функцию 


тг (п) = пах, МГ (Хт, и; .... Хи, Шп) (6.12) 
1, 9:1; ...; 


п’ У п 

функцией роста класса {} (Х; 9)}е=г на выборках вида (6.7). 

Для функции роста справедливо следующее утверждение. 
Утверждение. Определенная соотношением (6.12) 

функция роста либо тождественно равна 2", либо, если для не- 

которого й это не так, т. е. тг (й - 1) = 2", то для п >В 

справедлива оценка 


г п" 
тиб. 


Это утверждение позволяет оценивать функцию роста лю- 
бого класса {} (Х; 9)}еег функций. Для получения соответст- 
вующей оценки достаточно указать такие й -- | пар, которые 
не могут быть разеделены всеми 2+! способами с помощью ин- 
дикаторных функций /(Х, и; ©, В). 

В частности, для функций |} (Х; 9), линейных по парамет- 
рам ©, т. е. | 


т— | 
[(Х; 9) = У 0-4, (Х)- 6%, 
Е = 1 


*Напомним, что функция $1п (2) определяется соотношениэм 


. _ НЕЁ, если 2 > 0; 
3181 (2) = |1, если 2 < 0. 


194 


где {16 (Х), 1, (Х), ..., фи: (Х)} — некоторая заданная сиг- 
тема известных функций, имеет место оценка 


тг (п) <п”/т (п> т). 


Итак, функция роста мг (й) оценивается 


Либо 2”; 
Г (А) — в 
т’ (п) либо < =, если тг (й -- 1) 52 2% +1, п> 8. 


Определение. Будем говорить, что класс функций 
Г(Х; 9) имеет бесконечную емкость, если соответствующая 
функция роста тождественно равна 2", и имеет конечную ем- 
кость П, если функция роста оценивается сверху величиной 


в 
т ">В. 

Справедливо утверждение: с вероятностью 1 — а одновре- 
менно для всех функций {{ (Х; 9) }вег имеет место неравенство 
А (9) —< 


"Ап (@) 
< п 
Пия о (пин) 
И 
4 п + 
(6.13) 
где 
[А]. = й если А > 0; 
0, ели д 0. 


Так как неравенство (6.13) с вероятностью | — а выполня- 
ется одновременно для всех функций, то оно справедливо и для 
функции, минимизирующей эмпирический критерий адекват- 
ности. Оценка (6.13), по существу, зависит от относительного 
(по отношению й) объема выборки п. 

Таким образом, в условиях (6.10) для класса Е функций ог- 
раниченной емкости по величине эмпирического критерия адек- 

‚^^ 
ватности А, (9) удается оценить величину теоретического кри- 
терия адекватности А (6). 

Теперь на основе полученной оценки (6.13) сконструируем 
метод структурной минимизации критерия адекватности. 

Пусть на исходном классе Е = {} (Х; 9) }эег задана струк- 
тура 


Е. СЁРС... С Ра, (6.14. 
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т. е. задано минимальное подмножество ЕР, элементов из Е, 
затем подмножество элементов Е», содержащее Е, ит. д. и, на- 
конец, подмножество Е, = Е, содержащее все элементы класса 
{Е (Х; @) }в=г. Итак, подмножества ЁР.,..., Р‚ ..., Ра, Таковы, 
что с ростом номера ] емкость их растет: А, < #,.< ... < №. 
—^— 
На каждом из подмножеств Е; найдем функцию } (Х; 9/), 
минимизирующую выборочный критерий адекватности. Вы- 
= 
числим для функции } (Х; 9/) величину выборочного крите- 
— а 
рия адекватности А» (9/). Очевидно, что с ростом номера } ве- 
м — 
личина А» (9) не возрастает. 

Но при фиксированных п и @ оценка (6.13) величины теоре- 
тического критерия адекватности для функции, минимизирую- 
щей выборочный критерий адекватности на элементах структу- 
ры {Е;} „лу Достигает своего наименьшего значения не обя- 
зательно на подмножестве Е, = В. Иначе говоря, для фикси- 
рованного объема выборки наилучшее приближение к функции 
регрессии достигается на некотором элементе структуры ЁЕ,». 
Этот метод назван в [34] методом структурной минимизации 
риска (в нашей терминологии — теоретического критерия адеёк- 
ватности). Для ограниченного объема исходных данных п он 
позволяет установить компромисс между «сложностью» выби- 


раемой модели регрессии (номером элемента структуры (6.14)— 
чем больше номер, тем сложнее модель ) и качеством прибли- 


„> — 
жения к выборочным данным (величиной А» (9/)), при котором 
достигается наименьшая гарантированная оценка теоретичес- 
кого критерия адекватности. Можно сказать, что дальнейшее 
усложнение модели приводит к приближению к имеющемуся 
эмпирическому материалу, ане к искомой зависимости. 


Метод структурной минимизации риска может быть исполь- 
зован для восстановления регрессии в различных классах 


функций. Применим его для построения полиномиальной рег- 
рессии. 


Пусть структура Е, <... < ЕР. такова, что элемент РЕ; со- 
держит полиномы степени } — 1. В этом случае емкость клас- 
са Е; равна /. И проблема заключается в том, чтобы минимизи-- 
ровать выборочный критерий адекватности в классе полиномов 
такой степени [*, чтобы достичь минимума оценки (6.13). 


На рис. 6.12 показан пример восстановления полинома пя- 
той степени на отрезке |— 2,2]. Восстановление проводилось 
по измерениям функции в 20 случайно взятых точках (крести- 


ки). Видно, что кривая 2 лучше приближает истинную регрес- 
сию, чем кривая [Г. 


196 


На рис. 6.13 приведен пример восстановления неполиноми- 
альной истинной регрессии в классе полиномов по 20 измере- 
ниям (крестики). 


При решении этих примеров минимизировался упрощенный 
вариант правой части (6.13), а именно функционал 


А» (9) 


вт (1 1 
п —- — 11“ 
ай) 


п 


| — 
+ 


где было принято |п & = — 2. 


6.3.2. Поиск модели, наиболее устойчивой к варьированию со- 
става выборочных данных, на основании которых она оценива- 
ется. Идея этого подхода к выбору общего вида исследуемой 
регрессионной ‘зависимости основана на следующем простом со- 
ображении: если общий параметрический вид зависимости 
Уср = | (х0), х@,. . х{Р); 09) «угадан» правильно, то результаты 


оценивания 0. 6. ‚ параметра 9 по различным подвыборкам 
выборки В, = {0 Хх), ..., ХФ); у}, будут мало 


ф = п 
отличаться друг от друга (а следовательно, не сильно будут раз- 
личаться между собой и 


х 
соответствующие значения 9 | 
Ё (х0), х (2), ..., хр) 9,), х | 
Е («6, х),..., х@); @,) ,...). Й | 


И, наоборот, при неудачном 
выборе общего вида иско- 
мой зависимости результа- 
ты ее восстановления по 
различным выборкам, как 
правило, будут сильно от- 
личаться один от другого. 

С проявлением указан- 
ного свойства аппроксима- 
ционных регрессионных мо- 
делей мы уже столкнулись 


в примере 6.2. пействи» Рис. 6.12. Истинная полиномиальная 
тельно, по данным табл. 6.1 регрессия (—) и ее аппроксимации: 


мы видим, Что оценки ко- кривая 1— наилучшее приближение 
эффициентов 9 но, 0,, и 0,» в классе полиномов пятой степени 
(Е = 1,2) айпроксимацион- (С—°—°-——°—); кривая 2 — полу- 


ченная с помощью алгоритма струк- 
ных вариантов аналиЗИруе- турной минимизации критерия адек- 
мой модели (вариантов | И ватности (—.—+—.—) 


197 


2), подсчитанные по раз- 
личным выборкам (сначала 
по всей выборке из 20 наб- 
людений, а затем по ее по- 
ловине), могут отличаться 
не только на несколько по- 
рядков, но и по знаку (!). 
В то же время значение 
оценки коэффициента © в 
модели, общий вид которой 
выведен из содержательных 
соображений (вариант 3), 
практически остается од- 
ним и тем же при расчете 
как по всей выборке, так и 
по ее части. 

Предлагаются следую- 
щая реализация только что 
Рис. 6.13. Истинная кусочно-линей- сформулированной идеи и 


ная регрессия (—) и ее полиноми- ее экспериментально-вычи- 


альная аппроксимация, полученная слительная апробация 1 
< помощью алгоритма структурной 
минимизации критерия адекватности Рассмотрим систему В 


{—°—о—о подвыборок выборки В 
й В = {6 : БВ ЕВ,}. 

Пусть на множестве Х — области определения исследуе- 

мой функции регрессии — задана система линейно-независи- 


мых (базисных) функций 1; (Х), ХЕ Х, [ = Тт 
Моделью М, (Х, 9 (5)) порядка $ для функции } (Х), по- 


строенной по базису {ф; (Х)}"_, и подвыборке ВЕ В, назовем 
функцию вида 


п ® 


М, (Х, 6 (6) = У бу, (Х), $ < т, 


[= 1 


где коэффициенты © (5) = (6,,..., 0,) = (60, (65),... 0,(5)) 
являются решением задачи минимизации 


ши У (М, (Хь 9))*. 
9 (Хрьи;) СЬ 


1Описываемая ниже схема изложена на основе результатов и пред- 
ложений, разработанных В. А. Гусевым (см.: Классификация и аппрок- 
симация экспериментальных данных и надежность прогноза: Автореф. 
дис. ...канд. физ.-мат. наук. — М., 1982. —В надзаг.: ВЦ АН СССР). 
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Пусть 6 2 О — заданное число, а Х — некоторое подмноже- 


ство ИЗ х. Назовем множества $, Е Ви 6, Е Вб. - эквива- 
лентными (5.1 6, Ь.), если они удовлетворяют условию 


[М. (Х, 9 (6,)) — М. (Х, 9 (6.)) | > 6, Х Е Х. 

Таким образом, 6,-эквивалентность множеств В, и ВЩ,, 
т. е. подмножеств! множества В„, означает следующее: значе- 
ние модели М, (Х, © (5,)) функции }(Х), определенной по 


подвыборке 6,, отличается от значения модели М, (Х, © (Б,)), 
определенной по подвыборке 6,, в любой точке Х множества Х 
по модулю на величину, не большую, чем 9. Можно рассматри- 
вать 6, -эквивалентность всей выборки В, и ее подвыборок, 


т. е. сравнивать модель м. (Х, 9) = М.Х, 9 (В„)) с моде- 


лями М, (Х, 9 (6)), построенными по отдельным частям выбор- 
ки В; 

Рассмотрим такие подвыборки 6 из В„, которые содержат 
ровно @& точек, и обозначим их совокупность через В“, а их 
число через т. = С“. Далее, определим число то (6) подвыбо- 


рок ф Е В, для которых выполнено условие 
| м. (Хх, 8)— М, (Х, 6 (5) | < 6 при всех ХЕХ. 


Устойчивость модели М, (Х, 9) порядка $ на множестве 
Х для заданного 6 будем измерять величиной 


1 п та (5) 
6) = —__ —__ 
У (5) п—$5--1 о т 


@ =5 а 


Пусть задана последовательность 0< 6, <... <6.. 


|4 
— 1 %/ <” 
Величину \, = - У, у. (5) назовем средней устойчивостью мо- 


[ 

Е = 

дели на множестве Х для последовательности (65:, 6.,..., 6}. 
Рассмотрим величину 


95. ах (6) ах |М, (Х, 9) М, (х, 9 (5) | 


максимальную по модулю разности ‚моделей на множестве Х. 
Таким образом, можно рассматривать распределение значений 


величины бах на системе подвыборок В. В частности, можно 
оценить математическое ожидание Еб°. „х величины 0$ И 


тах 
квантиль ир порядка Р распределения о. 


Для оценки качества модели можно использовать следую- 
щие характеристики: 
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%. (6) — характеристику устойчивости для заданного 6; 


у; — характеристику средней устойчивости для после- 
довательности (6,, 6.,..., 6,); 


Еб’.х — математическое ожидание величины бах; 


и — квантиль порядка Р распределения величины 
$ 
тах. 


Для наилучшей модели характеристики %, (6) ит, дости- 


гают максимального, а характеристики Е, и и — мини- 


мального значений. Практическая реализация данного подхо- 
да, опирающегося на анализ величин %, (6), %., Е бшах 
и и, требует привлечения ЭВМ и расчета необходимых статис- 


тических характеристик этих величин с помощью метода Мон- 
те-Карло [14, $ 6.3]. 

Возможна и иная форма реализации данного подхода, 
не предусматривающая необходимости использования статисти- 
ческого моделирования на ЭВМ. Она основана на анализе кри- 
тических статистик вида 


(у:—М:(Хв 0 (61) 


^^ "1—8 хук, 
у (п, П», 5) = — , (6.15) 
о им вы 


где 6; и В, — непересекающиеся подвыборки объемов п; И П» 
(п, + л., < п), случайно и независимо извлеченные (без воз- 
вращения) из исходной выборки В„. В частности, в условиях 
справедливости гипотезы Но: Е (ч|[& = Х) = М.(Х; 9) случай- 
ная величина (6.15) должна подчиняться приблизительно 
Е-распределению с числом степеней свободы числителя и зна- 
менателя п, — $ ия, — $ соответственно. 

Для статистической проверки этого факта можно восполь- 


зоваться сравнением подсчитанного значения статистики \ с 
процентной точкой Р-распределения (см. табл. П.5). А при до- 
статочно больших объемах п исходных выборок В» можно не- 
посредственно проверять факт Е-распределенности случайных 


величин у с помощью соответствующих критериев согласия 
[14,5 11.1]. Для этого, правда, следует образовать целую после- 
довательность подвыборок 61, 6.,..., 6м из В„, подсчитать для 
различных пар 6;, 6; величины (6.15) и применить к ним крите- 
рий согласия. 

6.3.3. Статистические критерии проверки гипотез об общем ви- 
де функции регрессии. Подчеркнем сразу, что описанные ниже 
критерии проверки справедливости сделанного выбора общего 
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вида искомой функции регрессии не могут ответить на вопрос: 
является ли проверяемый гипотетичный вид зависимости на- 
илучшим, единственно верным? Они лишь либо подтверждают 
факт непротиворечивости проверяемого вида функции рег- 
рессии имеющимся у исследователя исходным данным (6.1), 
либо отвергают обсуждаемую гипотетичную форму зависимости 
как не соответствующую этим данным. 

1. Общий приближенный критерий, основанный на группи- 
рованных данных (или при наличии нескольких наблюдений при 
каждом фиксированном значении аргумента). Пусть высказана 
гипотеза об общем виде функции регрессии Н. : Е (1|8 = Х)= 
= (Х;; 0,, 60,,..., 0») (№ (Х; 9) — известная функция, (0;, 
0.,..., 0„) = 9 — неизвестные числовые параметры) и пусть 
вычислены (например, с помощью метода наименьших квад- 


—^ > 

ратов, см. гл. 7) оценки .6,, 6,, ..., бт неизвестных парамет- 
ров, входящих в описание уравнения регрессии. При груп- 
пировке данных (или при проведении эксперимента) мы долж- 
ны соблюдать требование, в соответствии с которым число 
интервалов группирования (или число различных значений 
аргумента, в которых производились наблюдения) Е должно 
обязательно превосходить число неизвестных параметров т, 
т.е. А —тд1. 

Если высказанная гипотеза об общем виде зависимости яв- 
ляется правильной, ‘то статистика 


Г: 
м — — 
—— \ мии — К (Х?; Е 


2 | ( 
о и (6.16) 
Е У У Гу и: 


2=1 7=1 


должна приближенно подчиняться Ё (\1, у2)-распределению с 
числом степеней свободы числителя \ = Е — т и знамена- 
теля — %›, = п — Е. Все величины в формуле (6.16) соответст- 
вуют ранее введенным обозначениям. В частности, Х? — сере- 
дина {1-го гиперпараллелепипеда группирования (или {1-е зна- 
чение аргумента, в котором было проведено т; наблюдений); 


— 
[а (Х?; 9) — значение гипотетической функции регрессии, вы- 


численное в точке Х = Хр}; у; — условное среднее из ординат, 
попавших в {-й гиперпараллелепипед группирования (или из 
ординат, измеренных при {-м фиксированном значении аргу- 
мента Х}); у; ; —/-е по счету. значение ординаты из числа попав- 
ших в 7-й интервал группирования (или из числа измеренных 
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прин г-м фиксированном значении аргумента Х?). Легко понять, 
что числитель в правой части (6.16) характеризует меру рассеи- 
вания экспериментальных данных вокруг аппроксимирующей 
выборочной регрессионной поверхности, а знаменатель — ме- 
ру рассеивания экспериментальных данных около своих услов- 


ных выборочных средних у; (т. е. меру, независимую от выбран- 
ного вида линии регрессии). Причем и числитель, и знамена- 
тель являются практически независимыми (в некоторых част- 
ных случаях — 7104чно независимыми) статистическими оцен- 
ками одной и той же теоретической дисперсии 0? = ЮО (п|Е=Х). 


Соответственно получаем следующее правило проверки ги- 
потезы об общем виде функции регрессии. Задаемся, как обыч- 
но, достаточно малым уровнем значимости критерия & (напри- 


мер, & = 0,05). С помощью табл. П. 5 находим 100 (1 — я % - 


2 ©, 2 

ную точку 9, «и 1005 %-ную точку ба Е (Е — тп — #)- 
2 2 .- 

распределения. Если окажется, что величина и?, подсчитанная 

по формуле (6.16), удовлетворяет неравенствам 


——— 


°° о <<, 
1 — 
2 2 
то высказанная нами гипотеза об общем виде функции регрес- 
сии признается не противоречащей экспериментальным дан- 
ным (6.1). Если же эти неравенства оказались нарушенными, 
то гипотеза об общем виде функции регрессии отвергается с 
уровнем значимости %. При этом если 9? «слишком мало» (т.е. 


2 
9? < о. «) то, очевидно, при выборе общего вида регрессии мы 
—5 


неправомерно реагировали на случайные отклонения то- 


чек (Х?, у;} от истинной функции регрессии и тем самым необо- 
снованно завысили число параметров т, от которых зависит 
уравнение регрессии. Напротив, если 5? «слишком велико» 


2 . 
(т.е. 9? >> 9а), то «гибкость» аппроксимирующей функции рег- 


2 

рессии [| (Х; 9) следует признать недостаточной, поэтому це- 
лесообразно ‘увеличить число неизвестных параметров регрес- 
сии (например, повысить порядок аппроксимирующего поли- 
нома). 

Для случая, когда условная дисперсия зависимой перемен- 
ной пропорциональна некоторой известной функции аргумен- 
та, т. е. О (Х) = о”? (Х), формула (6.16) преобразуется: 
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Е 


| — — 
У в:тиу;: — (ХР, 0)| 


‚2 &—т р , 
т (6.16) 
1 ` _ 
—_ У, ©; У, (у;1— и: 
п . . 
1—1 1=1 

где 
6; = 1/1? (Хр). 


Так, в примере В.2: п = 40; Е = 4; а = 0,05; т = 2; 
дисперсионное отношение 9'*, подсчитанное по формуле (6.16’), 
равно 1,04, вто время как 5% -ная точка ЕЁ (2,36)-распределения 
0005 = 3,26. Это свидетельствует о том, что гипотеза о линей- 
ном виде регрессионной зависимости в данном случае не проти- 
воречит имеющимся в нашем распоряжении эксперименталь- 
ным данным. 

При проверке линейности регрессии (так же, впрочем, как 
и при проверке гипотезы о полиномиальном характере регрес- 
сии заданного порядка т) в нормальных схемах зависимостей 
типа В и С, описанный общий критерий является точным. 
При этом в линейном случае статистика 92, определенная соот- 
ношением (6.16), может быть выражена в более удобной форме, 
не требующей предварительного вычисления выборочной ап- 
проксимирующей функции регрессии, а именно: 


29а 72) 


—. (6.17) 
(#—2) (1—1) 


= — 


Здесь, как и прежде, ру. и г — соответственно выборочные 
корреляционные отношения (п по &) и коэффициент корреля- 
ции, вычисляемые по формулам (1.16) и (1.8'’). Логическая 
схема использования статистики (6.17) аналогична ранее изло- 
женным критериям: задаются достаточно малым (0,05 — 0,15) 
уровнем значимости ©; находят по табл. П.5 100 «%-ную точку 
а распределения ЁР (Е —2, п — Е); сравнивают величину 
9, определенную с помощью (6.17), с процентной точкой ив; 
если оказывается, что 9? >> ца, то гипотезу о линейном виде ре- 
грессии считают статистически необоснованной. 
Воспользуемся данным критерием для статистической про- 
верки линейности регрессии в примере В.3. Вычисления дают: 


— —^ 

7? —= 0,429, ра.= = 0,459, так что 5* = 0,513. Принимая во вни- 
мание, что величина 5% -ной точки РЁ (4,37)-распределения рав- 
на 90,05 = 2,63, делаем вывод о непротиворечивости гипотезы 
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линейности регрессии и данных нашего эксперимента в дан- 
ном примере (0,513 < 2,63). 

2. Общий приближенный критерий, основанный на негрип- 
пированных данных (при известной величине дисперсии остаточ- 
ной случайной компоненты). 

Встречаются ситуации, когда в результате предваритель- 
ных исследований или из других каких-либо соображений нам 
удается заранее определить величину дисперсии 0” остаточной 
случайной компоненты & в разложениях вида (В.14) и (В.16) 
(например, когда = — ошибка измерения, и нам известны ха- 
рактеристики точности используемого измерительного прибо- 
ра). В этом случае можно отказаться от стеснительного требо- 
вания группированности данных и для проверки гипотезы об 
общем виде функции регрессии воспользоваться фактом 
у? (п — т)-распределенности статистики 


| 


02 


п 
1 47. \\2 
У (и РАХЬ 0)) (6.18) 
пт 
[== 
(который имеет место при условии справедливости нашей гипо- 
тезы). 
Задавшись уровнем значимости критерия а и найдя с по- 


мощью табл. []. 4 величины 100(1—2]%- и 1005 %-ных точек 


Х?-распределения с п — т степенями свободы, соответственно 
2 2 
Ха (п — т) и Ха (п — т), проверяем выполнение неравенст- 
2 2 
ва 
2 . 2 
_@ (пт) < уха (пт), 
2 2. 
где у подсчитано по формуле (6.18). Если эти неравенства ока- 
зались нарушенными, то от гипотезы Ну, об общем виде функ- 
ции регрессии следует отказаться. При этом если \* «слишком 


2 
мало» (т. е. */? < Х_а(п — т)), то, очевидно, при выборе об- 
2 


щего вида мы неправильно реагировали на случайные отклоне- 
ния экспериментальных точек (Х;, у;) и тем самым необосно- 
ванно завысили число: параметров т, от которых зависит урав- 
нение регрессии. 
Напротив, если *\? «слишком велико» (т. е. %? > ух (п — 
2 


—1т), то «гибкость» аппроксимирующей кривой регрессии 
а (Х; 9) следует признать недостаточной, поэтому целесооб- 
разно увеличить число неизвестных параметров регрессии 
(например, повысить порядок аппроксимирующего полинома). 
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Для случая, когда условная дисперсия зависимой перемен- 
ной (или, что то же, дисперсия остаточной случайной компо- 
ненты) не остается постоянной при изменении Х, а пропорцио- 
нальна некоторой известной функции аргумента, т. е. Эщ (Х)= 


—= 024? (Х), формула подсчета статистики ‘у? несколько изме- 
нится: 


"= у о; (и; — {4 (Хк @)}, 
1=1 

где в; = 1/1? (Х;). В остальном схема проверки гипотезы об 
общем виде функции регрессии остается той же самой, что и в 
случае Оч (Х) = 0* = соп$. 

3. Оценка размерности модели регрессии. Предположим, 
что неизвестная истинная функция регрессии } (Х) представи- 
ма в виде разложения по заданной системе базисных функций 


то 
Е (115 = Х) = 1(Х) = У 6,4, (Х), (6.19) 

1=1 
а регрессионные остатки = в моделях (В.14), (В.16) — незави- 
симые нормальные случайные величины с нулевым математи- 
ческим ожиданием и дисперсией о?. Параметры т, © == (6,, 
‚ От.) и о? не известны исследователю. Величину 7, будем 
называть размерностью модели регрессии. Рассмотрим два 


способа оценивания ту, и, следуя [97], опишем статистичес- 
кие свойства такого оценивания. 


Оба способа основаны на величине «подправленного» вы- 
борочного критерия адекватности 


"Ав (о) = У (и:— (Ху; 9), (6.20) 


=] 
где &") == |”) хо = Убль, (Х), а 9 = (6... 0.) — оцен- 
1=1 


ки наименьших квадратов параметров © (см. гл. 7). 
В первом способе в качестве оценки необходимого числа ба- 
зисных функций рекомендуется брать величину 


ту = пит {т А, ("-10)> А, (к), (6.21) 
А+) А, (К"+о)}. 


Во втором способе с помощью критической статистики 
9" (1, п-—т—2) == 


(п—т— 2) [(и— т). А (79) (п—т —1).4 8) 


Г ениины 
— 


(п—т— 1). А, (ео) 
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которая при 21, = т и сделанных выше предположениях под- 
чиняется Р-распределению с числом степеней свободы числите- 
ля, равным |, и знаменателя, равным п — м — 2 [130, с. 1331, 
последовательно для т = 1,2,... проверяется гипотеза 7 = т 


—^ 
и останавливаются на таком наименьшем т’, при котором 
гипотеза впервые не отвергается. 


В [97] выведены асимптотические (по п-> со) распреде- 
ления для оценок т) и т). Показано, что для [ = [, 2: 


ИП р {то < т} =0; 


т Р4ат@ = т М} =А (1-м, № =0, 1, ..., 


П> о 
где 
( 1 - х2 
—__ е 2 Ах А 0,683 для т); 
ИУ2л 
—1 
А = , 
р к? 
—_ | е 2 ах для 112). 
У2з 
—ба 
В последнем соотношении иё = и? (1, п т® — 2) — 
100 «%-ная точка Ё (1, п — т — 2)-распределения. 


Эти результаты позволяют, в частности, строить асимптоти- 
ческие доверительные интервалы для неизвестной размерности 
модели регрессии. 


Существуют и другие различные способы оценки размерно- 
сти модели регрессии, применимые при рассмотрении некоторых 
частных схем!. 


4. Анализ регрессионных остатков. Ряд статистических кри- 
териев проверки адекватности используемой аппроксимирую- 
щей модели регрессии основан на анализе регрессионных ос- 


— — 
татков (невязок) & (ХМ; =и— р (ХХ), Е=1, 4...., п. В ос- 
нове их конструирования — положение, в соответствии с ко- 
торым правильный выбор модели |, (Х) предопределяет асимп- 


тотическую (по п —> со) независимость остатков # (Х;). Поэто- 
му статистическая проверка правильности выбора общего вида 


1См., например: Боганик Г. Н. Об установлении порядка урав- 
нения параболической регрессии. — Теория вероятностей и ее приме- 
нения, т. ХИ, 1967, №4, с. 718—727. 
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функции регрессии сводится к проверке статистической незави- 
симости остатков, для чего могут быть использованы, напри- 
мер, критерии, описанные в [14, $ 11.3]. На этом же основан и 
критерий определения порядка полиномиальной регрессии 


и критерии проверки независимости величин (Х) и =(Х,) 
[93]. 


ВЫВОДЫ 


1. Этап параметризации регрессионной модели, т. е. выбора 
параметрического семейства функций (класса допустимых ре- 
шений), в рамках которого производится дальнейший поиск 
неизвестной функции регрессии, является одновременно наибо- 
лее важным и наименее теоретически обоснованным этапом рег- 
рессионного анализа. 


2. Прежде всего исследователь должен сосредоточить свои 
усилия на анализе содержательной сущности искомой ста- 
тистической зависимости, чтобы максимально использовать 
имеющиеся априорные сведения о «физическом» механиз- 
ме изучаемой связи при выборе общего вида функции рег- 
рессии. 


3. Важную роль в правильном выборе параметрического клас- 
са допустимых решений играет предварительный анализ гео- 
метрической структуры совокупности исходных данных и в 
первую очередь анализ геометрии парных корреляционных по- 
лей, включающий в себя, в частности, учет и формализацию 
«гладких» свойств искомой функции регрессии, использова- 
ние вспомогательных линеаризующих преобразований. 


4. Сформулированные с помощью содержательного и геометри- 
ческого анализа рабочие гипотезы об общем виде искомой функ- 
ции регрессии могут быть проверены с привлечением соответ- 
ствующих математико-статистических критериев. Среди 
фундаментальных идей, на которых базируются эти статисти- 
ческие критерии, следует выделить: а) идею компромисса меж- 
ду сложностью регрессионной модели («емкостью» класса до- 
пустимых решений) и точностью ее оценивания; 6) идею по- 
иска модели, наиболее устойчивой к варьированию состава вы- 
борочных данных, на основании которых она оценивается; 
в) идею проверки гипотез об общем виде функции регрессии на 
базе сравнения выборочных критериев адекватности и исследо- 
вания статистических свойств получаемых при этом оценок 
размерности модели. 
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Глава 7. ОЦЕНИВАНИЕ НЕИЗВЕСТНЫХ ЗНАЧЕНИЙ 
ПАРАМЕТРОВ, ЛИНЕЙНО ВХОДЯЩИХ 
В УРАВНЕНИЕ РЕГРЕССИОННОЙ 
ЗАВИСИМОСТИ 


Рассмотрим общую модель линейной (относительно оцени- 
ваемых параметров ©) регрессии в виде 


р 
$; —= У, р» (2;:)-9% -- 8, [= 1, 2, ..., П, (7.1) 
&=1 


где 9, — неизвестные параметры, которые надо оценить по вы- 
борочным данным (й;, и;), #=1, ..., п; фь (2)}.—г> — система 
известных (базисных) функций векторного аргумента 7, по ко- 
торым разложена неизвестная функция регрессии [ (2) = 


р 
= Е (м = 7), т. е. } (2) — 2$» (2). 0,; =; — случайная 
погрешность. Сделав замену переменных х ® =ф, (2; и 
учитывая ранее принятые обозначения 
Х: = (хГ”, ..., ХР); Х =(Хь, ..., Ап); 

У == (11, ..., Уп)"; == (в, .... 81)’, @ == (0,, ...., 0,)'. 


модель (7.1) можно представить в виде 
У =Х0-+. (7.2) 


Вектор Х; будем называть наблюденным значением предик- 
торной переменной (регрессора). 

В данной главе рассматриваются различные епособы оцен- 
ки параметра © в зависимости от. предположений о природе Х 
и характере распределения $. 


7.1. Метод наименьших квадратов 


7.1.1. Мнк-уравнения. Предположим, что распределение век- 
тора не зависит от Х и нормально. с нулевым вектором сред- 
них и ковариационной матрицей Х = о*Т,, где о? — неизвест- 
ная дисперсия компонент $, а Г, — единичная матрица поряд- 
ка и. Сформулированное условие записывается 


вЕМ (0, о?1,). (7.3) 


Оценка параметров в модели (7.2), (7.3) проводится: с по- 
мощью метода наименьших квадратов (мнк), который описан в 
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[14, п. 8.6.31. При этом 9 находится из условия минимиза- 
ции суммы квадратов отклонений наблюденных значений у 
от их сглаженных (регрессионных) значений, т. е. величины 


[У—хХО |= У (и — ы х(®) „) =@—хеу (У—Х6). (7.4) 
3 Е=1 


=] 


Уравнения метода наименьших квадратов, мнк-уравне- 
ния, В случае, когда г — ранг Х равен р, имеют решение 


9 - (Х'Х)-1 ХУ. (7.55) 


Если г «р, то в ряде случаев легко ввести дополнитель- 
ные ограничения на параметры Н®© = 0, где ранг Н равенр —г. 


Пусть С = (н) тогда @’@ = Х’Х -- Нн имеет размер (р Хх р) 

и рангри 

9`= (С’б)-1Х'У. (7.6) 
Другой путь — использование обобщенной обратной мат- 

рицы (Х'’Х)- [17] для Х’Х. В этом случае 

0 -=- (х' Х)-Х'У. (7.7) 
Подправленная на несмещенность оценка максимального 


правдоподобия [14, п. 8.6.3] для дисперсии 0? задается форму- 
лой 


52 —=|У—Х@ |/(— 1), (7.8) 


где ||У — Х@]| часто называют остаточной суммой квадратов 
(ОСК). 


7.1.2. Свойства мнк-оценок. В случае когда (7.3) имеет место, 
ты => 
9 является наилучшей несмещенной оценкой ©, т. е. Е@ =60, 


и для всякой другой оценки @ со свойством Е@ = 9 для про- 
извольного (неслучайного) (р Х \)-вектора С 


р (С’ 9) < 0 (с’б). (7.9) 


Если дополнительно потребовать, чтобы ранг Х =р, то 
из общей теории мнк-оценок следует, что 


@ЕМЛ (0, о*(Х' Х)-1; (7.10) 
(0—9)”Х’Х (0—0)/о*= 52; (7.11) 
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9 не зависит от 5": (7.12) 
НуУ—х@ Н/о? = (п — р) 5°/0* = Хар. (7.13) 
Если сохранить требование Её; = 0, Её? = 0? (1 = 1...., 


п), соу (8:, 8; = 0 (52 ]), но отказаться от нормальности рас- 
пределения в, то (7.9) также будет иметь место, но уже только 
для линейных несмещенных оценок ©. 

В общем случае при нарушении (7.3) мнк-оценки теряют 

свои оптимальные свойства. Различные способы оценивания, 
применяемые в этом случае, описаны в $ 7.2. 
7.1.3. Ортогональная матрица плана. Матрицу Х называют 
матрицей плана эксперимента. Рассмотрим случай, когда мат- 
рицу плана Х можно разбить на А совокупностей столбцов Ху, 
.... Хь (что соответствует разбиению на А подмножеств анали- 
зируемого набора переменных) так, чтобы для всех {=2 | 
столбцы матрицы Х; были ортогональны столбцам матрицы 
Х,, т. е. 


Х =(Х,, ..., Х»), ХХ; =0 152]. (7.14) 
Разобьем соответствующим образом и значения вектора 
9’ = (900), ..., 09°). (7.15) 


Г 
Пусть далеег;‚—рангХ; и Ух; = р. Из (7.5) с учетом (7.14) и 
==] 
(7.15) получаем 
Хх, Х, О... 0 1] °ГХ У 
9- (х' х)-1 ху = о Х.х... 0 ХУ 
0 0... ХЬХ, Х,У 


=> —. — 


(1 Х,)-* ХУ 9) 
(Х-Х,)-* ХУ] _| 02) 
(ХЕ Х,)-1 ХУ 5 


—ы — 


—^ 
Другими словами, ©“ является мнк-оценкой для ©9) в мо- 
дели ЕУ = Х. 99, а это означает, что 99) оцениваются не- 
зависимо друг от друга и 9“) не изменится, если положить ка- 
кие-либо другие ©‘) (] == 4) равными нулю. Величина ОСК в 
рассматриваемом случае имеет вид: 
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—^м — & — — 
ОСК =У’У— 6’ Хх’ Х0=уУ’у— У 0Фх, Хх, 09. — (1.16) 


9=1 


Если про какие-либо значения ©9(9) известно, что они апри- 
ори равны нулю, то соответствующие слагаемые в правой части 
(7.16) отсутствуют и ОСК соответственно больше. Поскольку 
9‘) независимы между собой, то целесообразна независимая 
проверка гипотез ©4) = 0. Она проводится с помощью Ё-от- 
ношения: 


—_ 6 (9) Хо Ха 6(4) /га 


СК 2) = (Га, пр). (7.17) 


Это свойство широко используется в дисперсионном анали 
зе (см. гл. 13). 
7.1.4. Параболическая регрессия и система ортогональных по- 


р 
линомов Чебышева. Пусть Еу = Ух^-—10,. В силу соображе- 
в=1 


ний, изложенных в предыдущем пункте, целесообразно перей- 
ти к полиномам, ортогональным друг другу на системе наблю- 
денных значений предиктора ху,..., Хи: 


р, (х) =1; 


< Хх: (х:) . 
(Хх) = х— хп = хер 
ых 2 а 
Хх? Ч (х:) Ух? ар: (х:) 
а (хх) — хе — ——— фр, (Х); 
(9) ооо 9 ох о) м 


р РИ фу (ха) 
з (х)—= хР- 1 — а. х > 3). 
фр (5) У зыбоысо #9) 


Введенные таким образом функции носят название ортого- 
нальных полиномов Чебышева. Соответствующие им стол- 


бцы матрицы плана Х» = (фь (х)),..., фи (хи))’, очевидно, ор- 
тогональны, и параметры в модели 
р 
Бу = Уф, (х) 8, (7.18) 
1 


оцениваются независимо друг от друга. 
Когда истинный порядок полиномиальной регрессии не из- 
вестен, то оценка параметров модели (7.18) проводится каж- 
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дый раз последовательно с проверкой гипотезы, что коэффици- 
ент перед очередным полиномом равен нулю. Как только эту 
гипотезу отвергнуть нельзя, подбор коэффициентов прекраща- 
ется. Вопросы, связанные с последствием такого выбора прави- 
ла остановки, обсуждались в гл. 6 (см. также [77, 147]. 
7.1.5.. Обобщенный мнк. Пусть теперь в модели (7.2) 


зЕМ (0, о? \), (7.19) 


где У — известная положительно определенная (п Х п)-мат- 
рица. 

Важным примером подобной ситуации является случай, 
когда дисперсия = зависит от значения регрессора Х, но 8; 
и =; при 1 => }] между собой некоррелированы. В этом случае в 
У отличны от нуля только диагональные элементы. 

В общем случае отклики для различных значений предик- 
тора, вообще говоря, зависимы. Но, что принципиально важно 
в постановке задачи, величина их корреляции известна апри- 
ори. _ 
Пусть У = СС’и У = СТУ, Х = СХ, =* = С". В но- 
вых переменных У, Х, =* приходим к уравнению вида (7.2) 


У = Х@ -1 =*, для которого (7.3) имеет место. Оценка © в 
преобразованной модели равна: 


9* == (ХХ) "ХУ = (Х' (СС’)-1 Х)-1 Х' (СС’)-1У = 
= (Х’У-1хХ)-2Х’\У-1У. (7.20) 


Очевидным образом модифицируются формулы (7.8) и 
(7.10): 


5*2 — (У—Х6@*)' У-1(У—Х@*); (7.21) 
9*ЕМ№ (6, о* (Х'’У-*Х)-1. (7.22) 
7.2. Функции потерь, отличные 


от квадратичной 


Мнк-оценки, получающиеся в результате минимизации выбо- 
рочного критерия адекватности с квадратичной функцией по- 
терь, неустойчивы к нарушениям предположения о нормаль- 
ности распределения случайных ошибок. С утяжелением «хво- 
стов» распределения они быстро теряют свои оптимальные свой- 
ства [14, п. 10.4.4]. Это связано с тем, что квадратичная функ- 
ция потерь, используемая в мнк, придает ‘слишком большой 
вес далеким отклонениям от регрессионной поверхности. Про- 
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гресс в области вычислительных методов позволяет перейти к 
использованию функций потерь р (и), растущих при |и| —+ со 
более медленно, чем и". Соответствующие оценки по сравнению 
с мнк-оценками более устойчивы. Им и посвящен настоящий 
параграф. Так же, как при оценивании параметров положения 
и масштаба [14, п. 10.4.4], определенное внимание уделяется 
экспоненциально-взвешенным оценкам (эв-регрессии). Они 
допускают простую и наглядную интерпретацию, имеют хоро- 
шие выборочные свойства в случае небольших асимметричных 
искажений гауссовских распределений ошибок. Для них раз- 
вита полная асимптотическая теория. 

7.2.1. Функция потерь р. (и) = |и\, 1 <у=2. Параметры 
регрессионной поверхности находят из условия минимизации 
по вектору ©: 


О, (9) = У о» (и), 


— | 
р. 
где и; = и; — 2 '0,. Покажем, что дляу >11) решение 


этой задачи 9. единственно; 
2) в модели (7.2) для симметричных распределений случай- 


ных ошибок оценка ©, состоятельна. В самом деле, функция 
о.(и;), рассматриваемая как функция от ©, строго выпукла 
вниз. Следовательно, строго выпукла вниз и сумма ©. (©), 
поэтому минимум (, (9) единствен и достигается в одной точ- 
ке. Из строгой выпуклости о. (и) и, следовательно, положи- 
тельности рь (и) вытекает, что для любой симметричной отно- 
сительно нуля случайной величины & для любого а=-0 


Ерь (5 Е а) > Ер» (5). (7.23) 


Из закона больших чисел [14, п. 7.2.1] следует, что в моде- 
ли (7.2) для больших значений п для любого фиксированного 
вектора С = (с()...., с(Р))' 


п 


9, (С)/п = У Ер» (уу — ХьС)/п. (7.24) 


К==1 


При симметричном относительно нуля распределении слу- 
чайных ошибок, как следует из (7.23), правая часть (7.24) бу- 


дет наименьшей при С = ©. Следовательно, в силу (7.24) 9, 


должно быть при большом п близко к ©, т. е. оценка ©, состоя- 
тельная. 
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В сформулированных выше условиях асимптотическая ко- 
вариационная матрица 9. имеет вид (см. также гл. 11): 
Еру (=) 
(ЕР. (=))* 
где К => Х,Хь = — случайный регрессионный остаток. 
1— 


В практической работе математические ожидания, стоящие в 
правой части (7.25), заменяются на их выборочные оценки: 


Е(@,—0) @.—60)' =к-: (7.25) 


Ер, (=) = п-* У р%(у:—Х;6,); (7.26) 
1—1 
Ер» (5). 1-1 У ру (у:—Х!6,,. (7.27) 


{=1 


Напомним, что формула (7.25) верна только для независи- 
мых и симметрично (относительно нуля) распределенных рег- 
рессионных остатков. 


Методы вычисления ©, [44, 94, 186]. Основные уравнения 
имеют вид 


п —— 
90.,/00, = — у У, Чет (ии 1х = 0, Е=1, р. (7.28) 
1=1 
Введем под знак суммы веса и; = |и;|°-* и заменим 
еп (и;) [и на ио;. Получим систему 
п р | —— 
У (+. х — У хр хе °, ш; = 0, Е = 1, р. (7.28’) 
#=1 1=1 


Система (7.28’) решается итеративно, при этом веса оцени- 
ваются на основе параметров, полученных на предыдущем ша- 
ге. В качестве нулевого приближения параметров можно взять 
обычные мнк-оценки. Чтобы не иметь дела со слишком боль- 
пими весами, выбирают какую-либо большую константу с >0 
и для ; > с полагают &; = с. Для минимизации ©, (9) поль- 
зуются также методами линейного программирования [253, 
256] или специальным геометрическим приемом [53]. 

В качестве математической модели симметричного распре- 
деления с более тяжелыми хвостами, чем у нормального рас- 
пределения, часто берут распределение Лапласа с. плотностью 


[д = - екр {—1 хо}. 
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Если в модели (7.2) «остатки» в; не зависят от Х;, независимы 
между собой, одинаково распределены и имеют распределение 


Лапласа, то 9, есть оценка максимального правдоподобия для 
9 

7.2.2. Оценка Хубера [213, 214]. Исходя из задачи поиска ми- 
нимума максимальной (по всем симметричным засорениям нор- 
мального распределения) асимптотической дисперсии оценки 


параметра положения, П. Хубер ввел в рассмотрение функцию 
потерь 


и?/2, если |и| < К; 


Ц) —= 
рн (и) Е|и|— "12, если |и| 22. 


(7.29) 


Эта функция, являясь выпуклой, удачно сочетает достоинст- 
ва р. при малых и умеренных значениях |и| ир, — при боль- 
ших отклонениях. Применение он для оценки регрессии в мо- 
дели (7.2) требует обязательной одновременной оценки ©9 и 
параметра масштаба распределения =. Тем самым теряется 
одно из преимуществ р» — независимость процедур оценива- 

”—^ —^ 


ния этих параметров. []. Хубер предложил искать Он ион 
из решения системы: 


У ен ((у; —Х; 0)/6). мо = 0, = Тр; 

—=1 

У р (и: —Х; @)/0) = В, (7.30) 
= 


где он(и) = 4рн(и)/Чи = тах (пп (, и), —®), В = 


=п—р)] № (м) ф (м) Чи и Ф(и) — плотность стандартного 


нормального распределения. 


Авторы [124] советуют заменить последнее уравнение в 
(7.30) на 


0* = медиана {(и; —Х; 9)*/а*, 1=1,..., п}, (7.31) 
гдеа ^ 0,675. Теоретические свойства этих оценок и соответст- 


вующие вычислительные процедуры изучаются в [43, 110, 124]. 


На практике для оценки ковариационной матрицы @н в слу- 
чаях, когда распределение = можно считать симметричным, 
можно использовать формулы (7.25), (7.26), (7.27) с заменой 
0» на рн. 
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Оценки @н все же еще недостаточно устойчивы к асиммет- 
ричным отклонениям от нормальности распределения = [149]. 
Следовательно, нужны функции потерь р, которые.растут при 
|4] > оо медленнее, чем 04. 
1.2.3. Функции потерь, имеющие горизонтальную асимптоту. 
Предложены три семейства функций, специально рассчи- 
танных на асимметричные отклонения функции распределе- 
ния ошибок от нормального закона. В унифицированных обо- 
значениях в условиях, когда дисперсия основной (незасорен- 
ной) части распределения регрессионных остатков известна и 
равна единице, они могут быть приведены к виду (ниже пара- 
метр А, > 0): 

функция потерь Андрюса [156]: 


ид [ти они [1 < (24) зо 
^-1, |ш |2 л (2^)-1/?; 
функция потерь Мешалкина [89]: 
ом (и) =А-! (1-—ехр { —^и?/2}); (7.33) 
функция потерь Рамсея [243]: 
ра (и) =. (1 — (1-Е 1/2 [и |) ехр {—^1/? и |}. (7.34) 


Все три функции при А, -> 0 стремятся к 12/2, т. е. перехо- 
дят в обычную квадратичную функцию потерь, используемую 
в мнк. При] =2 0 они имеют горизонтальную асимптоту, рав- 
ную ^-7. Взаимное расположение этих функций для двух зна- 
чений параметров показано на рис. 7.1. 

Так же, как при использовании он, в практической работе 
с этими функциями приходится выбирать значение параметра 
А (настраивать од, ом, ов на определенный уровень отклонения 
от нормальности) и одновременно оценивать @ ио. При этом 
возникают дополнительные по сравнению с он трудности интер- 
претационного плана, связанные как с отсутствием выпукло- 
сти у новых функций, так и с сильным подавлением больших 
отклонений. Для иллюстрации сказанного рассмотрим пример. 
Пусть случайная величина # дискретна, принимает всего два 


значения и Р { = ал (2^)-"?} = 0,5. Несмотря на сим- 

метричность распределения = относительно нуля Е рфд (=) > 

> шш Ерл (=— 6), причем минимум достигается по край- 
Ь 


ней мере в двух различных точках. Это обстоятельство связано 
с локальной вогнутостью рд (и) в окрестности возможных 
значений в. Аналогичное утверждение имеет место и для ом 
И Ок. 
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В случае когда распределение # (в общем случае не обяза- 
тельно симметричное) сравнительно мало отличается от нор- 
мального закона М (...; 1), для всех трех функций рд, ом, 
ов а = аге пит Ер (Е — 05, т.е. значение 6, при котором 


достигается минимум Еф (8 — 6), единственно и мало отличает- 
ся от центра соответётвующего нормального закона. Но оно, 
конечно, зависит от выбора функции о и от значения /^.. Поэто- 
му `вопрос о содержательной интерпретации а остаётся акту- 


10 


РА А =11 
Ры 


Ре 


Рис. 7.1. Сравнение трех функций потерь при раз- 
личных значениях А 


альным. В 114, п. 10.4.6) такая интерпретация описана для 
функции ры (эв-оценки). []о-видимому, аналогичная теория 
может быть построена и для рд ирю, но ом нескольхо удобнее 
в аналитическом отношении, особенно в многомерном случае. 

Вместе с тем вопрос, насколько распределение = должно 
быть близко к нормальному закону для того, чтобы существо- 
вало только одно значение а, при котором достигается минимум 
Ро (= — 5), пока не исследован достаточно подробно. 

Было бы интересно сравнить оценки параметров, получае- 
мые с помощью рд, ом Ирк, между собой в различных ситуа- 
циях. Но для этого требуется дальнейшее развитие теории ус- 
тойчивого оценивания. Дело в том, что модель независимой вы- 
борки растущего объема из фиксированного распределения 
Еа, использованная Хубером, в которой Ра (х— р) = (1 —9)х 
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ЖФ (х — в) + 9Н (х — в), где Ф — функция нормального 
распределения, а Н — функция распределения произвольного 
симметричного относительно нуля закона не очень подходит 
как из-за симметрии Н, так и из-за того, что асимптотика, в ко- 
торой ди Н фиксированы, а объемы выборки п -> со, не впол- 
не адекватна статистической практике: с ростом объема выбор- 
ки мы узнаем Ро с возрастающей точностью и в принципе мог- 
ли бы путем преобразования переменных усилить близость 
распределения к нормальному закону. Более адекватной мо- 
делью засорения является схема последовательности серий 
выборок растущего объема, в которой пропорция засорения 
4 = уп-М* убывает с ростом п [149, 215 и 14, п. 6.1.11]. 
7.2.4. Эв-регрессия (^-регрессия). Ниже, используя тот же ме- 
тодический прием, что и при введении эв-оценок [14, п. 10.4.6], 
с помощью цепочки определений вводится эв-регрессия и спе- 
циальная мера отклонения от нее. Далее показывается, что 
эв-регрессия обладает рядом свойств, похожих на свойства 
обычной мнк-регрессии. Это облегчает содержательную интер- 
претацию эв-регрессии и выбор подходящего для конкретного 
случая значения А. В заключение приводится асимптотическое 
разложение для оценок параметров эв-регрессии. 

Пусть и (ИХ) — весовая функция у при фиксированном 
значении Х, Р(...) — символ функции распределения. Введем 


4» (Х, Е) = | уш (1 Х)аЕ (у Х)Нь (Х, Е); (7.35) 
Е» (Х, Е) = | (у—Чь (Х, Е) в (у[Х)аР (ХХ, Е), (7.36) 


где 1 (Х, Е) = {№ (у|Х) ЧЕ (УХ). 

Определение 7.1. Назовем 4, (Х, 2) — и -взве- 
шенной регрессиейу на Х (&-взвешенным откликом вх), а 
5.(Х, Е) — и -взвешенной дисперсией относительно поверхно- 
сти и-взвешенной регрессии. 

Определение 7.2 Распределения Г (у | Х) иС (и [Х) 
назовем регрессионно-подобными, если 
4» (Х, Ё) = 4» (Х, С) ив, (Х, Р) = вь (Х, 0). 

Пусть ф (и; а (Х), о” (Х)) — плотность нормального за- 
кона М (и |Х), (^, с)-связанного с Ё (и|Х) 114, п. 10, 4.6], 
т. е. при & (у | Х) = $^ взвешенные моменты М \(у|Х) и 
Е (и | Х) совпадают. 

Определение 7.3. Назовем Ф‚ (у, Х) А-регрессион- 
но-связанной с Е (у, Х), если 
ЧФ, (у, Х) = ф (у; а(Х), с? (Х)) ду-аЕ (Х). 


218 


Определение 7.4. Назовем а (Х) — А-регрессией 
{эв-регрессией) у на Х и 0? (Х) — А -дисперсией у относитель- 
но поверхности А-регрессии. 

Аналог мнк утверждения для эв-регрессии. Пусть Ех (у — 
— с (Х))* = 7} у—с (Хх) аФ, 4, Х), тогда а(Х)= 
аге шш Ел (у —с (Х))?, т. е. если при каждом Х заменить рас- 

с(Х) 


пределение Р (у, Х) на А-связанный с ним нормальный закон, 
то для нового распределения Ф.(у, Х) а (Х) — обычная мнк- 
оценка регрессии у на Х. 

Пусть расстояние между двумя функциями распределения 


Е (и) и С(у) определено как р(Ё, @) = зир | аЕ— с) 
а< а 


и М (Е), = — окрестность одномерных нормальных распреде- 
лений, тогда для любого А, > 0 существуют такие с = с (^) >0 
и = = 8 (), с) > 0, что для любого РЁ (у|Х), для которого для 
всех ХЕ (и|Х) Е М (=) существует единственная А-регрес- 
сия у на Х, причем а (Х) иб (Х) — непрерывные (в смысле р) 
функции относительно РЁ (и | Х). Если Е (у | Х) нормальны, 
то А-регрессия у на Х совпадает с обычной регрессией. 
Таким образом эв-регрессия обладает всеми основными 
свойствами мнк-регрессии, только наблюдения в соответствую- 
щие формулы входят со специально подобранными весами. Вве- 
дение весов позволяет как бы настраивать регрессию на инте- 
ресующую исследователя часть выборки (рис. 7.2: в пунктир- 
ный овал заключены наблюдения (х;, у;), получившие малые 
веса и практически не участвующие в оценке ‘параметров эв- 
регрессии; куполообразные кривые на прямой эв-регрессии 
показывают веса, приписанные наблюдениям). Эв-регрессия 
значительно устойчивее мнк-регрессии и регрессии по Хубе- 
ру к появлению далеких отклонений от регрессионной поверх- 
ности. Однако она, естественно, не является универсальным 
методом оценки регрессии для всех случаев, когда нарушаются 
предположения (7.3), лежащие в основе мик. Четких рекомен- 
даций, как выбирать А, в конкретном случае, пока не выработа- 
но. Ясно только, что надо давать максимальный вес «основной» 
части выборки и наименыпий — части, где могут лежать 
«загрязнения». Определенные соображения по выбору величи- 
ны.^, в некоторых модельных случаях приведены в п. 7.2.5. 
Минимизационное определение эв-регрессии. Для того что- 
бы охватить случай неизвестного о, несколько изменим опре- 
деление функции потерь по сравнению с (7.38). Пусть 


ра (и, с) = —о-^ + ехр {—Аи?/2о*}, (7.37) 
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А-регрессия а (Х) = Х'6, где 9 — вектор неизвестных пара- 
метров, и для всех Х А-дисперсия о? (Х) = о? и 0* также не- 
известно. Пусть далее %› (9, о) = Ер, {у — Х’®, 5), где Е — 
символ математического ожидания по мере АР (у, Х); тогда 


9; и о) являются решением уравнений 
4/49 = 0 и 4/46 = 0 (7.38) 
и на них достигается локальный минимум ^ (©, о) (вообще го- 
воря, не единственный). 

Рассмотрим итерационную процедуру получения решения 
(7.38): 


4 


Весовая 
ФУНКЦИЯ 


д 


Рис. 7.2. Настройка эв-регрессии на интересую- 
щую исследователя часть выборки 


9+1) =(ЕХХ' в, )-*ЕуХо,; (7.39) 
9(4-41) = (1-НА) Е (уУ—Х’ 91141) &,/Ещ,, (7.40) 


где шк = ехр { — А (у — Х’9)?/203»}}. 

Обозначим \КЕС оператор перехода по формулам (7.39), 
(7.40) от (9‹»), о) к (94а, 02( 41), тогда (9х, в*) является 
неподвижной точкой оператора \/КЕС 

Последнее определение А-регрессии удобно для построения 
оценок (9х, 01) по выборочным данным. Для этого достаточно 
в уравнениях (7.38) — (7.40) заменить символ математического 
ожидания Е’на знак суммирования по всем наблюдениям и ре- 
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шать их итерационно. Асимптотическая ковариационная мат- 


рица оценки (6, 0), полученной по независимой выборке объ- 
ема п, имеет вид 

С = л-*.К-' НК, (7.41) 
где К, Н — квадратные матрицы порядка (р -- 1) Х (р - 1); 
и=у— Х’9,; 


Ш = (и, ол) = ехр {—^и?/20}}; №; =Ех@ хФ, 1, |< р; 


№ (1--^) —Ешмз ш.Вх® 


К;, р+-1 — о р, 
ь _ _ 2-Е3А А (1-2) Ем ш 
РРР 4(1--А) 0 40% ‘в ’ 


И. = (1 "В Жо, 15] «р 


сое” |2 2 | р) р: 
Пк | ВХ, 1515 (7.49) 


] Е 4 и? Ви? Е и? 42 
ра [2 2 Вим | 
рт1, Р1 (Ем? ш)? т (Еш)? Еи2 ш.Ех 


Для ^, > 0 при любом Е (у | Х) все входящие в формулы ма- 

тематические ожидания существуют. На практике их, а также 
ох и 9) следует заменить соответствующими выборочными 
оценками. 
7.2.5. Минимизация систематической ошибки. Практическое 
использование излагаемых выше предложений по повышению 
устойчивости оценок коэффициентов регрессии наталкивается 
на следующие неопределенности. Какую минимизируемую 
функцию риска выбрать? Все предлагаемые оценки содержат 
параметры: у — в п. 7.2.1, Е — вп. 7.2.2 ил — вп. 7.2.3 и 
7.2.4. Какими брать значения этих параметров? Если полезно 
уменыпать веса больших отклонений прогнозируемой перемен- 
ной, то, может быть, полезно взвешивать и предикторные пере- 
менные? 

В общем случае ответов на эти вопросы пока нет. Однако 
ориентиром может стать изучение модельных ситуаций. В ча- 
стности, воспользуемся моделью засорения Шурыгина [14, 
п. 6.1.11]. В качестве основного распределения возьмем мо- 
дель нормальной полиномиальной регрессии степени р, когда 
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плотность совместного распределения предикторной перемен- 
ной х и прогнозируемой переменной у имеет вид 


р 2 
в. 
фФ(х, у) = (2л9у 0.) -техр | —-- бу* |у— У, 6,7 | — 
1=0 


— [Хы | (7.43) 


Рассматривается серия 4д-засоренных выборок одинаковой 
длины п, и в 2-й выборке засорение концентрируется в точке 
(х+, ур), так что плотности распределения выборок серии имеют 
ВИД 


ра (х, у) = (1—9) ф(х, и) -- 96 (9, /1); 


(7.44) 
ре (х, у) = (1—9) Ф(х, у) +96 (%5, и5), 


где 6 (х#, и#) — дельта-функция Дирака от точки (х%, и%). 
Пусть в серии выборок эта точка имеет плотность распределе- 
ния А (х*, у*). 

Найдем квадратичную погрешность регрессионного пред- 
сказания у, для неизвестного значения результирующего по- 
казателя у = и (хо), измеренного при х = хо, когда двумер- 
ное распределение (х, и) описывается плотностью распределе- 

—^ 


ния (7.43), а прогноз у, строится по оценкам, основанным 
на произвольной выборке (7.44): 


—^ р — . 2 
> 64 —и — 


]—=0 
р . р ‚ \2 
=Е (5 9, —ш + УЕ; * 
]=0 |—=0 


(здесь усреднение производится и пох и поу, аё, = 0, — 9}. 
Далее 


—^ р , 2 р , 
Е» —и=Е 6, 4—#) +2 У 6, ч—) х 


Первое слагаемое равно о; и не может быть минимизирова- 
но. Во втором слагаемом сомножители независимы, и матема- 
тическое ожидание первого из них равно нулю, так что нулю 
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равно все слагаемое. От способов опенивания коэффициентов 
регрессии зависит лишь третье слагаемое, которое, варьируя 
эти способы, можно минимизировать. Обозначив [-й момент 
стандартной нормальной величины через 


1, если [== 0; 
ж = 0, если [ нечетно; 
1.3.5 ... (1—1), если [ четно, 


третье слагаемое можно записать в виде 


р . \2 р р , 
я-Е(5 ым } = ХХ У ни б".6; бы. 
{=0 


1=0 т=0 


Предположим для простоты, что величины 02, ци ох из- 
вестны (устойчивые способы их оценки излагаются в [14, 
п. 10.4.4—10.4.6)]). Пусть оценки коэффициентов регрес- 

—^ —^м —^ 


сии 0%, 06,,..., 9» находятся из системы уравнений 


п — — 
У К; (х:, Уз, бь, ..., 0.) =0, |=0,1,..., р 


=1 


во всех выборках серии (7.44). Обозначим через Е, оператор 
математического ожидания, вычисляемого в соответствии с 
распределением р» (х,у) из (7.44). Мы можем искать мини- 
мум Е, 5? по способам оценивания коэффициентов регрессии. 

Асимптотическое (при п — со) поведение величины Е‚ 5? 
в любой.из выборок (7.44) слагается из двух компонент: из 
дисперсии в модели (7.43) («случайная ошибка») и квадрата 
смещения за счет засорения («систематическая ошибка»). При 
росте п первая уменьшается как п-", вторая — как 4?. Между 
этими величинами возможны следующие соотношения: 

а) величина 4? уменьшается быстрее, чем п-*. Тогда «систе- 
матическая ошибка» оказывается асимптотически пренебре- 
жимой по сравнению со «случайной», имеющей порядок п-*, 
классические оценки максимума правдоподобия оказываются 
асимптотически наилучшими, и приведенные выше рассужде- 
ния окажутся ненужными; 

6) величина 4 уменьшается медленнее, чем п, напри- 
мер как п-—1+*, где 0< у<1. Тогда дисперсия пренебрежимо 
мала по сравнению с квадратом смещения, и классические оцен- 
ки не оптимальны, оптимальными будут оценки, минимизи- 
рующие «систематическую ошибку»; квадратическая погреш- 
ность оценки уменьшается не как п-", а медленнее, как и—1+7; 

в) величины 4? и п-* имеют одинаковый порядок малости. 
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Этот вариант сводится к 6) при рассмотрении иерархии серий 
[149]. 

Главный член асимптотического разложения Е 5? в асимп- 
тотике 6) определяется «систематической ошибкой» из-за засо- 
рения выборки и в среднем по серии (7.44), которое будем обо- 
значать через Ес.›, зависит от плотности Й (х*, у*), так что 
существует 


6? = Есер ШП И1-—? Е, 5. 
по 


Используя известные методы минимаксной оптимизации, мы 
можем найти наилучшие оценки для наихудшей Й, т. е. найти 


аг пи тах о”. 7.45 
В К. „= Кр вен (7.45) 


Результат зависит от множества Н, среди которого отыски- 
вается наихудшая Й. Наиболее просто предположить, что Й от- 
личается от ф лишь значениями параметров: А (х*, у*) =ф (х*, 
у*; 05,..., 0, бу’, и*, ох*). В этом случае решение минимакс- 
ной задачи (7.45) приводит к следующей системе уравнений: 


— п р —. п 
= (и > 83) | Хи 
—^ п —^ р > , п 
‚= (и— 6—5, Ч) хи, | Уж (1.46) 


— п. р—Е— п 
9, = (#— У 0, ч) хи; | М хРШ,, 
| =0 


{= 7 [=1 


где весовые функции 


— 


р 2 
и; = ехр —— у — 0; х/ ехр (— ы ив? 
1=0 


40 202 
(7.47) 


являются экспонентами. Коэффициенты \р растут при росте р, 
оставаясь меньше единицы: %, = 0,365, у, =0,82, у; = 0,90, ... 
Учитывая некоторую условность рассматриваемой модели, 
можно использовать аппроксимацию \р == (р — 0,83)/(р — 
— 0,54). Система (7.46) решается итерациями. 

Рассмотрим теперь задачу нормальной многомерной линей- 
ной регрессии, когда р предикторных переменных, образующих 
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вектор Х = (х(1),..., х(Р))’ Е М (и, С), используются для 
р 

предсказания скалярной величины УЕМ (9, -- У0;^Ф, о), 
1=1 


так что плотность совместного распределения Х и у имеет вид 


ры ща 
Ф(Х, )= (п) 2 | томе — 


— > 0, пир —=(— и)’ С-КХ — ь (7.48) 
]=1 

Рассмотрение аналогичной (7.44) схемы д-загрязненных вы- 
борок 


р, (Х, у) = (1—9) Ф(х, у) 96 (АТ, 1); (7.49) 
Р. (Х, у) =(1—9) $ (х, уе 


и вполне аналогичная оптимизация погрешности предсказа- 
ния Ио = (Хо) с помощью регрессии и по Х при известных о°, 
и, С приводят к следующей системе уравнений для оценки ко- 
эффициентов регрессии: 


%- 5 (и У яр) в: | Зи 


=] 


= ‚(и —% -2 $, фо) бо У (мою; (750) 


#=1 


п 
0, = У (—&— 5 Г] хр ХР) Ш; х (1.7) ш 
1=1 
где весовая функция также экспоненциальна: 


2 * 
ое (и |9 9, — У С и | в (-х 


]=1 
х (Х—в)' С-1(Х— в), (7.51) 
но величины \р убывают с ростом р: 


«_ 1. р--5 __ 
= (И ) (7.52) 
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Сравним полученные оценки коэффициентов регрессии с 
излагавшимися в предыдущих разделах. Если весовые функ- 
ции и; положить равными единице, то системы (7.46) и (7.50) 
дадут оценки максимального правдоподобия соответственно 
для плотностей (7.43) и (7.48). Каждая из весовых функций 
(7.47) и (7.51) распадается на два экспоненциальных множите- 
ля, первая экспонента одинакова у обеих функций. Если вторые 
экспоненты заменить единицами, то решения совпадут с из- 
ложенной в предыдущем пункте эв-регрессией при А = 1/2. 
Вторые экспоненты определяют взвешивание по предиктор- 
ным переменным. 


7.3. Байесовское оценивание 


Общая методология байесовского оценивания описана в [14, 
п. 8.6.6]. Она сводится к введению априорной плотности рас- 
пределения параметров и последующему нахождению по фор- 
муле Байеса с учетом экспериментальных данных их апостери- 
орной плотности распределения. Ключевым моментом в при- 
менении байесовского оценивания является первый шаг. 
7.3.1. Введение априорной плотности распределения парамет- 
ров. Для априорных распределений возможны три интерпре- 
тации: 

1) как частотных распределений; 

2) как стандартных рекомендаций, что следует полагать о 
распределении неизвестных параметров в ситуации неопреде- 
ленности; 

3) как субъективной меры того, что полагает конкретный 
индивидуум. 

Подробное обсуждение достоинств и недостатков этих под- 
ходов в общем случае может быть найдено в [70]. Здесь же мы 
ограничимся частной задачей — их использованием при оцен- 
ке параметров регрессии. 

Частотный подход. Предположим, что одна и та же регрес- 
сионная задача решается повторно на близком материале. На- 
пример, для разных районов страны изучается связь между 
производительностью труда и рядом параметров, характери- 
зующих условия производства Или в медицине на материале 
различных медицинских центров по одним и тем же признакам 
строятся прогностические формулы для оценки риска осложне- 
ний какого-либо заболевания ит. п. Тогда в пространстве пара- 
метров, используемых в регрессионном уравнении, возникает 
эмпирическое распределение точек — оценок параметров, 
соответствующих отдельным решениям задачи (районам стра- 
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ны, медицинским центрам). После сглаживания оно может ис- 
пользоваться в качестве априорного распределения парамет- 
ров регрессии. Этот подход является бесспорным с теоретичес- 
кой и практической точек зрения, но, к сожалению, доволь- 
но редко применимым, так как каждый исследователь стре- 
мится привнести что-либо свое в обработку, в набор регрессо- 
ров, численные значения, приписываемые градациям качест- 
венных регрессоров. Простое повторение проведенных други- 
ми исследований мало популярно. Другое дело, если обработ- 
ка данных, собранных в разных местах по единой программе, 
проводится централизованно. В этом случае использование 
байесовского подхода может существенно уменьшить разброс 
в оценках параметров для каждого из массивов данных за счет 
привлечения к оцениванию информации о распределении па- 
раметров в других массивах. 

Введение априорного распределения в ситуации неопреде- 
ленности. Стандартный подход здесь заключается в том, что 


элемент априорной вероятности распределения (6,,..., 0р,0) 
в модели (7.2) берется пропорциональным [60] 
40,...40„Чо/а. (7.53) 


Иногда говорят, что плотность априорного распределения про- 
порциональна 1/0: 


р (0,,..., 0», о) — 1. (7.53') 


Правая часть (7.53’) не является плотностью в собственном 
смысле, так как интеграл от нее не определен, тем не менее при 
вычислении по формуле Байеса плотности апостериорного рас- 
пределения параметров формальных трудностей при работе с 
(7.53) или не возникает, или они легко могут быть преодолены. 
Как мы увидим ниже в п. 7.3.2, выбор (7.53) удобен в аналити- 
ческом отношении и, казалось бы, хорошо отражает полное 
отсутствие априорных знаний о распределении параметров. 
Однако в нем на самом деле скрываются очень сильные предпо- 
ложения: отсутствие корреляции между параметрами (не пу- 
тать с корреляцией между оценками значений параметров, ко- 
торая зависит от распределения регрессоров и величины о), 
пренебрежимая малость априорной вероятности того, что век- 
тор параметров лежит в любом наперед заданном конечном объ- 
еме, какова бы ни была его величина, ит. д. Это приводит по- 
рою к серьезным трудностям. с интерпретацией результатов 
байесовского оценивания [70]. 

Субъективный подход. В этом случае исследователь исходя 
из профессиональных соображений просто постулирует ап- 
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риорное распределение (©, с). Для дальнейших расчетов удоб- 
ны две формулы для априорной плотности. В первой из них 
распределение © не зависит от распределения о: 


р(6,, ..., 0», 0) = ре (64, ..., 0р)-ро (в) — АР? ехр | —(0— 


—6)' А(@— 6)/2} в- (4+1 ехр [= (7.54) 
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где \, 0, си, матрица А и вектор 9 выбираются исследова- 
телем. При этом априорная ковариационная матрица компо- 
нент 9 А-! предполагается невырожденной. 

Во втором случае ковариационная матрица компонент про- 
порциональна о0* и 


— в 1А |1 /2 
р (91, ...) 9р, в) = р (60,, в.в 9,|с)р (6) — ——х 


об 


хехр {—(9—9)’ А (0 —69)/20*} - о—(%-+1 ехр |— т. (7.55) 
\е] 


Основная трудность субъективного подхода заключается 
в том, что информация, полученная из данных, рассматривается 
на равных основаниях с распределением, построенным исходя 
из не полностью формализованных соображений. Однако этот 
подход может быть полезен, когда выборка мала. Некоторые 
соображения в пользу (7.53’) приведены в п.7.3.3. 
7.3.2. Апостериорное распределение параметров. В дальней- 
ших расчетах предполагается, что имеют место базовые пред- 
положения мнк (7.2), (7.3), т. е. 


Р(У1Х, 0, в) — —ехр{—("—х6)' (У—Х6)/20*} = 


ни 
дтн 


- ехр { —[(п —р) 5 -+ (9 —09)' ХХ (9 — 6) 1/2о*}, 


0 


где 52 = (У—Х6)'(У—х0)/(п—р), 0 = (Х' Х)-1Х'У— 
— мнк-оценка ©. 


В предположении (7.53°), 
р(@, в|У, Х) — — -р(У[Х, 0, 0). (7.56) 


228 


Откуда немедленно следует, что 


р (9 |У, Х) = |2, с |У, Х) 4 —[ (п — 12 52 -- 
0 


+(0—6)' х’х (0 —8)|-=/2, (7.57) 
т. е. вектор 9 имеет так называемое многомерное распределе- 
ние Стьюдента [60, с. 408—414]. Пусть. тЯ — элемент мат- 
рицы М-* = (Х’Х)-', тогда величина (0; -- 6;)/$ . (т)? 
имеет {-распределение Стьюдента с (п — р) степенями свободы, 


что может быть использовано при построении одномерных до- 
верительных интервалов для компонент 9. 


1 
р (о |У, х)— [р(@, 0|У, Х) 49 — АЕРН ехр{ — (п— 


— р) 5'/20*}, (7.58) 


т. е. с имеет обратное гамма-распределение, получаемое из 
обычного гамма-распределения [14, табл. 6.3] заменой аргу- 
мента х на в = Их. 

Априорная плотность вида (7.55). В этом случае 


| и 
р(@; с |У, Х) — уриег еХр { — [№26 + (9 — 8х 


ХА (0 — 9, +(У—х0)' (У—хХ0)]/20?} — 
а ехр{(-— М" + (0—6) (А + Х' Х)(0—6)/203, 


(7.59) 
где 2 = Им, п’ с = №60 -НУ’У -- 9'АФ@— 9’ (А 


+Х'Х)ди 9 = [А -+- Х' Х]-1 (Аб --Х'У). (7.60) 
Интегрируя по с, получаем апостериорную плотность 
р(@|У, Х) — [7' 2 (0 —6)' (А-- Х' Х) (9—0) 1-"+2)/2, (7.61) 


Априорная плотность вида (7.54). В этом случае, повторив 
с очевидными изменениями проведенные выше с плотностью 
вида (7.55) выкладки, получаем 


р(@]У, Х) — ехр{— (@—6)’ А (0—6)/2}-[%% с + 
+у’у—@' х’ х@-+ (@—6)' хх' (0 — 91-2 /2, (7.62) 
где 9 — мнк-оценка ©. 
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7.3.3. Повторная выборка из той же совокупности. Предпо- 
ложим, что из одной и той же совокупности делается повтор- 
ная выборка, и обозначим У;, Х; вектор наблюдений и матри- 
цу плана, относящиеся к 71-й выборке ({ = 1,2). Выбираем в 
качестве априорного распределения параметров для первой 
выборки (7.53’), тогда по (7.56) апостериорное распределение 


р(9, с | У,, Х,) — —г- ехр{— (7. —Х, 0) (7,— 


— Х, 0)/20?} тн ехр {— [\, 51-+ (0— 0,)' х! Хх, х 
х (9—9) 1/20?}, (7.63) 


где \; =и, — р, Я, (ЖКХ, )-1Х:У,, 
м, 51 = (У, — Х,6,)' (У, —Хб,. 


Заметим, что (7.63) имеет вид (7.55) с \, = \,, @ = 6,, 
А = Х!Х;:, с5 = &1, т.е. (7.63) можно рассматривать в каче- 
стве апостериорного распределения, полученного по байесов- 
скому методу для некоторой выборки при стандартном выборе 
(7.53’) априорного распределения. Возьмем теперь (7.63) в ка- 
честве априорного распределения для второй выборки, тогда 


| 
р (©, с |У,, Х;, У», Х,) — отт > ехр { —[(и: —р) $1 


--(@—6,)' х; х, (0—0) + (у,—х, 0)' (У, — 
| 
— Х. 9)]/2с?} — летит ехр { — [№52 - (9 — 


— 0)’ м (0—6)1/20?}, (7.64) 
где М=Х; Х, -- ХХ», @ = М-1 (Х, У 

+ Х, У»), 52 = (У, —Х, 0)' (у, —Х, 0) (У, —Х, 9)'х 

х (У, —Х» 9), у=и, + пр, 


но это тот же вид, что в (7.63) для объединенной выборки. Та- 
ким образом, два процесса дают одно и то же апостериорное 
распределение параметров: 1) объединение массивов двух вы- 
‘борок с построением апостериорного распределения с исполь- 
зованием предположения (7.53’) и 2) использование предпо- 
ложения (7.53’) в качестве априорного только для первой вы- 
борки и получившегося апостериорного распределения для 
первой выборки в качестве априорного для второй. 
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1.4. Многомерная регрессия 


При изучении эконометрических моделей (см. гл. 14), описа- 
нии результатов сложных химических реакций, измерениях с 
помощью дублирующих приборов приходится сталкиваться с 
ситуацией, когда для каждого заданного значения регрессора 
Х = (х@), ..., х{Р))’ наблюдается не одномерный, как в преды- 
дущих параграфах этой главы, а векторный отклик У = (у), 
..., И)’. Соответствующую математическую задачу называют 
многомерной регрессией, или, более точно, многооткликовой 
регрессией (ши Игезропсе гергез$1оп) (п. 7.4.1). По сравнению 
с мнк-методом обычной регрессии ($ 7.1) оценка параметров 
множественной регрессии в общем случае усложняется, так как 
приходится одновременно оценивать параметры регрессионной 
зависимости и ковариационную матрицу случайных ошибок 
(п. 7.4.2). По аналогии с$ 7.2 для многомерной регрессии уда- 
ется построить оценки параметров, устойчивые к отклонениям 
от предположения нормальности распределения случайных 
ошибок (п. 7.4.3). В заключение обсуждается задача использо- 
вания понятия множественной регрессии для параметризации 
распределения многомерного вектора (п. 7.4.4.). 

7.4.1. Случай известной ковариационной матрицы ошибок. 
Пусть дана последовательность наблюдений (Х;, У), = 1,..., 
п, и при этом предполагается, что 


у; = { (Х;, 9) —- =:, { == 1, ..., П, (7.65) 


где {(Х;, 9) =Е (У; | Х;} — 1-мерная векторная регрессион- 

ная функция от Х, известная с точностью до значения неиз- 

вестного векторного параметра © = (9), ..., 90%)’. 
Рассмотрим модель, линейную относительно © (см. (7.1)): 


+ (х, 0) =ч” (Х).0, 


(Хо. 0 
где %(Х) = у У (Х)... 0 — известная 
0 о .. УХ) 


матрица —функция от Х, а 
+ (Х) = (43 (Х,..., Фр, (Хи 
г) ; (Й\: 
9‘? = (9%9...., 9р,)'. 
Векторы случайных ошибок а; = (8), = ,..., #0) взаим- 
но независимы и имеют невырожденное [-мерное нормальное 


распределение с Её = 0 и Евг’ =\У (Х;). Для упрощения 
обозначений будем писать 4; и У; вместо % (Х;) и У (Х}. 
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В случае когда \;, известны и М, определенное (7.67), 
начиная с некоторого п, имеет полный ранг, наилучшая ли- 
нейная оценка для © имеет вид [117]: 


9. =М;:2., (7.66) 

где 

М. =л- А у, (7.67) 
$—=1 

= У Ч, УГ У,, (7.68) 


1=1 


Формулы (7.66) — (7.68) легко могут быть получены из 
(7.20), если рассмотреть п наблюдений [-мерного вектора как 
1. п наблюдений одномерных векторов с известной блочно-диа- 
гональной (с блоками \; размера [ Х 1) ковариационной мат- 
рицей между ними. 

В сделанных предположениях оценка (7.66) состоятельна, 
несмещена и нормально распределена. Ее ковариационная мат- 
рица равна: 


Е (0, 0) @,—0©)'=п-1М;1. (7.69) 


7.4.2. Случай неизвестной коварнационной матрицы ошибок, 
не зависящей от значения предикторной переменной (У (Х;)== 
== \). По аналогии с (7.66) в рассматриваемом случае оценка 


9 находится из решения уравнения 


м, (©)-е=2, (9), (7.70) 

где 

М, (9) = п-* У, Ч, У-1 (0) \т, (7.71) 
1—1 

2, (9) =п-: У 4;-У-1(0).У; (7.72) 
{=1 

У (9) = 1-1 У (У; — 4-0) (У,—4: 0)". (7.73) 

{=1 


Решение (7.70) удобно искать с помощью итерационной 


(по 2) процедуры вида 9,1 = Мл (0, п (0,). При выполнении 
дополнительного требования, что матрица 


М= Е\ (Х) У-1 Ч (Х) (7.74) 
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невырождена, в [137] показано, что в окрестности истинного 
значения ©9 итерационная процедура сходится с вероятностью, 
стремящейся к 1 при п —+ со. В общем случае уже нельзя га- 
рантировать единственность решения (7.70), а можно лишь ут- 
верждать, что при п — со среди решений (7.70) можно выде- 


лить последовательность 9,„, сходящуюся к истинному значе- 
нию ©. Эта подпоследовательность асимптотически-нормаль- 
на с параметрами 9 ил- М. 

7.4.3. Эв-оценки. Введенное в п. 7.2.4 понятие экспоненци- 
ально-взвешенной регрессии (^-регрессии) допускает естествен- 
ное обобщение на случай многомерной регрессии. При этом сох- 
раняется геометрическая интерпретация эв-регрессии с очевид- 
ным перенесением на многомерный отлик определений 7.1—7.4. 
Приведем только основные расчетные формулы, взяв за осно- 
ву итерационный процесс, описанный в предыдущем пункте, и 


модифицировав его согласно (7.39), (7.40): 
Шу... =ехр{—Л (У; — Ч; 0,)' Ух: (0, (У, —Ч7 0,)/2}; (7.75) 
п п 
2» (9, = У вл, : Ч, Ух: (0; у. | У иль 1, (7.76) 
$=1 $=1 
п п 
М) (9,) = У №, 1, Ух * (@,)ч; У, ФУ, ь, (7.77) 
#=1 #=1 
9,4, = Мл: (0,2, (@,); (7.78) 


\, (9,41) = (1-Е ^) У вл, :, (7, —Ч; 0.) х 
1—1 


х(у,—Ч; 0,1)" | У ша. (7.79) 


#=1 


7.4.4. Использование многомерной регрессии для параметри- 
зации многомерных распределений. Плотность р (Х) распре- 
деления р-мерного случайного вектора Х = (Х@); Х(?))’ = 
= (х(@), ..., х(5), х+1),..., х4(Р))’ всегда может быть представлена 
в. виде. р (Х) = р! (ХЧ)) р. (Х@)|Х@)). В гауссовском случае, 
когда 


р(Х)=Ф(Х; М, 5), а М=(М®», М6) 
| 1 


Хоа 2 


и № = — вектор средних значений и ковариационная 
матрица, разбитые в соответствии с раз- 


биением вектора Х, 
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р(Х)=Ф(Х); МИ, $,.) (Хх); М) — 5, Ут (ХИ) — 
— МО), У, — У: Х1г 12). 


Замечательная особенность многомерного нормального рас- 
пределения состоит в том, что ковариационная матрица услов- 
ного распределения Х“) при фиксированном значении ХО) не 
зависит от Х@) [20]. В общем случае это не так, и описание 
условного распределения значительно сложнее. 

Для описания многомерного распределения предлагается 
распределение части координат (ЛХ (1) аппроксимировать стан- 
дартной нормальной моделью или считать таким, как оно 
получилось в выборке, а распределение остальных ко- 
ординат (Х(?)) заменить на надлежащим образом подобран- 
ный (р-—5$)-мерный нормальный закон со средним, линейно 
зависящим от ХО), и ковариационной матрицей У условного 
распределения Х(?) при фиксированном значении Х@), от ХО) 
не зависящей. Но это и есть модель линейной многомерной рег- 
рессии, в которой Х@играет роль предикторной точки-наблю- 
дений (Х), Х) — роль многомерного результирующего по- 
казателя (У), Е (Х?|Х@)) — многомерная регрессия Х@) на 
ХХ), а Х@) — Е (Х?}|Х@)) — регрессионные остатки с кова- 
риационной матрицей \. 

Если в основу подбора параметров многомерной регрессии 
при описании распределения ХС) положить требование совпа- 
дения не обычных, а взвешенных моментов условного распреде- 
ления Х<) при известном значении Х@), то при соответствую- 
щем выборе весовой функции можно прийти к использованию 
эв-регрессии. 


7.5. Оценивание параметров при наличии 
логрешностей в предикторных переменных 
(конфлюэнтный анализ} 


7.5.1. Основные типы задач конфлюэнтного анализа. При ана- 
лизе функциональных связей между переменными (см. $ В.5, 
зависимости по схеме О) можно выделить следующие два слу- 
чая. 

1. Имеются две группы переменных ЕЮ” и ХЕРР. 
Переменные из первой группы известны экспериментатору со 
значительно большей ошибкой, чем из второй. В эфом случае 
целесообразно работать с зависимостями вида 


п = Е(Х; 0). (7.80) 


Функция Г(Х; 9} предполагается заданной, и отыскание 
истинной зависимости заключается в оценивании параметров 
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ОЭСР». Переменные Х могут трактоваться как предикторы 
(предсказатели): задаваясь каким-либо их конкретным значе- 
нием, можно предсказать значения переменных 1. Если пере- 
менные Х в процессе эксперимента могут изменяться по усмот- 
рению экспериментатора, то говорят о контролируемых пере- 
менных. Переменные \ часто называют откликами. 

2. Если все переменные, с которыми имеет дело эксперимен- 
татор, известны примерно с одинаковой точностью, то имеет 
смысл использовать зависимости, представленные в виде 


М (Х; 0) =0. (7.81) 


При этом по-прежнему иногда удобно разделять перемен- 
ные на результирующие (1) и объясняющие (контролируемые- 


М (т, Х; 0) =0: (7.81') 


Ниже основное внимание уделяется регрессионным моде- 
лям, связанным с представлением {7.80), и лишь в заключи- 
тельной части рассмотрены модели, порождаемые (7.81'). 

Регрессионные модели, связанные с (7.80). Возможно не- 
сколько постановок регрессионных задач, в основе которых ле- 
жит зависимость (7.80). Перечислим наиболее характерные из 
них. Читатель без особого труда сможет построить и некоторые 
промежуточные или смешанные конструкции. 

Классическая регрессия (см. $ 5.1.). В результате экспери- 
мента (наблюдения) оказываются доступными величины У; = 
=; +=; и Х,;, где #; — случайные величины (погрешности 
наблюдения). Иными словами, 

У; = { (Х; 9.) -- =, { = 1,2,..., п. (7.82) 

Подчеркнем, что значения предикторных переменных (усло- 
вий наблюдения) известны точно. Нижний индекс 0 здесь и да- 
лее в этом параграфе обозначает истинное значение помечен- 
ной им величины. 

Погрешности при фиксации условий наблюдения (активные 
эксперименты). Во многих экспериментах 1-е наблюдение 
проводится при условиях Х;, несколько отличных от желае- 
мых Ху: Х; = Хо: - хь где 2х; — случайные величины (по- 
грешности фиксации). Таким образом, экспериментатору до- 
ступны величины У; = 1; Ё а; и Хъ;, связанные между собой 
соотношением 


У; =ЕГ(Хи: + ехь 9) &,1=1,2, ..., п. (7.83) 


Пассивные наблюдения. Нередко (напримеёр, в эконометри- 
ческих, социологических исследованиях) возможно лишь наб- 
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людение за одновременным изменением переменных цих. Если 
эти наблюдения проводятся с некоторыми случайными погреш- 
ностями, То для анализа становятся доступными величины 


У; = Ч: + & и Х; = Хи: + ах или, в несколько более под- 
робной записи, 

и — Г (Хе, 9.) -- =;, (7.84) 
Х; = Хи ех:. 


По-видимому, впервые достаточно четкое разделение моде- 
лей (7.83) и (7.84) было осуществлено в [167], см. также [65, 
гл. 29]. 

Регрессионные задачи (7.82)—(7.84) содержат много общего 
как в постановке, так и в методах анализа. Более того, мы соз- 
нательно ограничимся рассмотрением именно тех методов, ко- 
торые базируются на методе наименьших квадратов, широко 
используемом для классических регрессионных задач. В то же 
время внимание читателя будет обращено и на некоторые прин- 
ципиальные различия в методах анализа соответствующих рег- 
рессионных задач. 

7.5.2. Модифицированный мнк для схемы активного экспери- 
мента. Обратимся вначале к регрессионной задаче (7.83), кото- 
рая наиболее близка к классическому случаю. 

Пусть анализируется единственный результирующий пока- 
затель (т = 1) и: а) случайные величины &; и ®х; = \.\%;, 
фигурирующие в (7.83), независимы в совокупности и 
Ее, =0, Её; = 07, Вех; =0, Е (\;-%, ) = 9; 

Е ([%(0 (9) №46 |) <с<юо, {=1, 2, ..., п; 69, г=1,2, ..., р; 

с — некоторая константа, 4 — матрица р Х р, \%; — стандар- 
тизованная (например, 4;; =1) случайная величина; 6) су- 
ществуют равномерно ограниченные на множестве допустимых 
условий наблюдения Ху:, 1=1, ..., п, производные по Х функ- 


ции Г (Х; 9) (см. (7.83)) до третьей включительно. 
В рамках предположений а) и 6) имеют место соотношения: 


Би; = ЕЁ (Хи -- у; @д)--гй = 1 (Хо 0) +0 (%?); 
Бу; =^-* (Хо; 95) +0 (3), (7.85) 


где О ( ), как обычно, означает дисперсию соответствующей 
случайной величины, 


ы * — ° ‚№ . ® д [(Х; 9) . 
Ро ФИ 9) + 5 Зр(4-о-|_,} 
хе а. 91; 0) 1 ЭХ; 0) 

Ао а О | 
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Заметим, что у;, { =:1, п--независимые случайные величи- 
ны. 

Таким образом, регрессионная задача (7.83) с точностью до 
О (у) сводится к регрессионной задаче 


у: =Р (Хоз 90) +в, (7.86) 
где Ец; =0, Ец? =А71(Ху;, @.). 


Отличие (7.86) от (7.82) заключается в том, что дисперсия 
погрешности зависит от неизвестных параметров @ь, о*, 4. 
Подобным задачам посвящена довольно обширная литература 
(см., например, [12, 86, 138]. 

Остановимся на простейших оценках (0? и 4 известны), пред- 
ложенных в [182, 138]. Они определяются как предельная точ- 
ка следующей итерационной процедуры: 


9. — Нте.; (7.87) 


$> с 


9, = агЕ пп и-1 У А (Хи, 9,-1) 19: — РЁ (Хи, ФР, 


ве 1—1 
или ее модификацией, близкой к методу Ньютона — Рафсона: 
9, — 9.-1 Но. би" (9,-1). И,» (9,-,), (7.88) 
где 


2, (0) =п-1 У (Хо, 0)-Ё (Хи, 0) Е’ (Хо, 0); 


= 1 
п — . 
У, (9) =п-1 У ^(Х:; 0) 49; —У (Хо; ФЕ (Хо; 9); 
1=1 
. т(Х: 
Ё(Х., 0) = 22:9) 
09 Х=Хь 
Множитель а, выбирается так же, как и в обычной процеду- 
ре Ньютона — Рафсона. Во избежание усложнений теорети- 
ческого плана предполагается, что 9, Е ® для любого 5. 
Если в дополнение к условию а) из п. 7.5.2 и к условиям, 
сформулированным в комментариях к (7.85), потребовать: 
в) последовательность 


5п (9) =п-1 У А (Хо; 9.) [ (Хоз; 9)— 1 (Хе: 9? 
=] 
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сх одится равномерно по 9Е ©, причем Нт ор (9) = о? (9), 
и функция 9? (9) имеет единственный минимум при 9 = ®©,; 
г) при всех ОЕ @® существуют, непрерывные по © произ- 
4 (Хоз; 9) „ 41 (Хо; @) 
и ав 


водные 9 16 767 


‚ И последовательности 


[и Ул(Хи; 0) $ (Хи; 6)- (Хи 9) |. 


2=1 


где функции ф (Хо;; 9) иф (Хь:; 9) могут совпадать с любой 
из указанных выше производных, сходятся равномерно по 
ЕО: 


д) матрица 2 (@,) =1 ши-* У А(Хи:; 0) Хх 


1 
>> =] 
х Р (Хок; 9,)-Ё' (Хо; 9.) — 


нес-обенная, 
тогда: 
1} Пт Р, = 1, где Р‚, — вероятность того, что при выбор- 
2? => 
ке обт,ема пл процедура сходится; 
2) огенка 9,, определяемая (7.87), сильно состоятельная, 
причем сли при данных Х. (7.87) имеет несколько решений, 


то за ©, принимается любое из них; 
3) отленка 9, асимптотически-нормальная, т. е. 


Ни Р {Ил (6,—9)<8=Ф, (# 0, 2-1 (@,), 


причем &,, (©, (см. (7.88)) является сильно состоятельной оцен- 
кой матьщы 2 (9,). 
Отметим, что 


6, 52 ага пит л-1 У А (Хи и: — Хо ФР. 


ео 1=1 


Данная теорема говорит о свойствах оценок для задачи 
(7.86). Для исходной регрессионной задачи все ‘утверждения 
верны лишь в рамках приближения (7.85). 

Оценки (7.87) достаточно просты как с точки зрения их ста- 
тистического анализа, так и с вычислительной точки зрения. 
Однако они не могут быть использованы при неизвестных о? и 
а. Небольшое усложнение оценок (7.87) позволяет преодолель 
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эту трудность. Рассмотрим следующую вспомогательную рег- 
рессионную задачу: 
у; = 8 (Хо, 9-5, 
ЕЁ, =0, ЕЕ? ==А-1 (Ху: 0. (7.89) 


В отличие от (7.85) в (7.89) не предполагается какой-либо 
специальной структуры А (Хо; 95). Более того, функции 
2 (Хо; 95) ил (Х.; 95) могут зависеть от разных групп пара- 
метров, входящих в 95. Чтобы избежать непринципиальных 
усложнений, будем предполагать, что случайные величины 
&; распределены нормально (в исходной задаче следует пред- 
положить нормальность г и %); при этом в (7.85) остаточный 
член, впрочем, как и для Любого другого симметричного рас- 
пределения, будёт равен О (у“). 


Оценки параметров ©9* определяются следующим образом: 


‘0*= ит @*; (7.90) 
9* = аго па п-! 


Е (Хо, 01) [9:— (Хи, @*) + 


] + _ ж 
+= № (Хы, 9-0 бо; 0) —ш— в (Хоз 9:1). 


Свойства оценок (7.90) можно проанализировать примерно 
так же, как это делается в [182] с оценками (7.87). 

Предположим, что функции в (Х.; 0*) ил 1 (Х.; 9*) удов- 
летворяют условиям, аналогичным (г), а функция 


01 (9 —п-: У [А Жиз 0) и Е (Жо 9) 


=1 
+5 (Хо; О Й- (Хи; 9 — (и в (Хоз 9) 
условию в). Введем матрицу 


С, (6*) = 1-2 У [А (Хи; 0*) р(Хо; 0*) р’ (Хи; 0*) + 


=] 
+-— № (Хоз 9%) 9 (Хоз 9%) 9’ (Хи; 6 
где | 
рСХз 9) Эа 9 их; 6) = тб”. 
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и потребуем (ср. с в)), чтобы существовала матрица С (@5) = 
= Иш С, (95) и чтобы она была невырождена. 


В во 
В рамках сделанных предположений: 
1) Ит Р‚, = 1, где Р‚ — вероятность того, что итераци- 


Пс 


онная процедура (7.90) сходится при выборке объема п; 
2) оценка ®„ — сильно состоятельная, причем если при 


Ро 
данном п имеется несколько решений, то за 9 принимается 
любое из них; 


3) оценка 0: асимптотически-нормальна, т. е. 
НтР {Ут (6:—0)< д =Ф, (Е 0, 6-1(0\)), 


причем матрица С Ст (9: п) является сильно состоятельной оцен- 


кой матрицы @ (9; ). 

Выше предполагалась нормальность распределения слу- 
чайных величин &;. Результаты остаются в силе, если потре- 
бовать, чтобы &; имели конечные четыре момента, и заменить 


всюду «агрегат» А (Хо; 0*) нат (Хы, @*), где 
Пи (Хо; 9*) =Е [(82 — 0: г]. 


Конечно, на практике знание четырех моментов весьма про- 
блематично. Но первые два пункта останутся справедливыми 
и без такой замены, хотя выражение для асимптотического зна- 
чения дисперсионной матрицы примет при этом несколько бо- 
лее сложный вид. Интересно отметить, что в тех случаях, когда 


процедура (7.90) сходится, т.е. 9, определено, то предложен- 
ная оценка совпадает с оценкой максимального правдоподобия. 
Сформулированные утверждения позволяют получить некото- 
рые полезные результаты для исходной задачи. 

Если параметры о* и 4 известны (см. комментарии к (7.87)), 


тор (Хо; 0) =Ё (Хо; @) и 


‚а _ о. 9Е(Х; 0) „ ОХ; 5) _ озу х. 
9(Х.; 9) = 2% эх _ а.———- Эх Ш, 2" 9 (Хь; 9). 


Асимптотическое значение ковариационной матрицы 25 
определяется матрицей 


6(95) = Ши л-* У [^ (Хи; 05) -Ё (Хы; 98) Е’ (Хе; 98) + 


=] 


+ 2 А? (Хо; 05) -9 (Хи; 0-9’ (Хи; 091. 
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С точностью до О (\4) данная матрица совпадает с матрицей 
2 (9о), т. е. в рамках используемого приближения исходной 
задачи усложненная итерационная процедура (7.90) не при- 
водит к оценкам асимптотически лучшим, чем (7.87). При не- 


известных @ и 0? можно без труда построить матрицу С (@,; 
09; 4), имея в виду, что 


9 
9* = | с> |, где а’ = (4, 412 ... 4х ... Чрр); 
| 
Е (Хо; 0) 
р(Хо; 0*)= ° 


2 оо 
5. Е (Хо, 9) 


где Ё' (Хо; 0) = (ба аа 0) Хи 6) 
дх$т) дх$\? 0х5?) дх(р) 


229 (Хо; 9) 
1 


9 (Хо; 9*) = ’ 
у Е) (Х; 9) 
где 
Ё()’ (Х.; 0) (7 9) } (Хо; 9) , 97 (Хо; 9) 
” д!) дб дх) ^ 


(Хо; 9) \? 
’ дх(р) ) 
Из двух последних формул видно, что 6? и 4 оцениваемы 


раздельно, если компоненты вектора (О, Р”’) или вектора (1, 


Р@)') линейно-независимы на множестве точек Х,,..., Хь. 
7.5.3. Пассивные наблюдения. В теоретическом плане регрес- 
сионная задача, определяемая (7.84) и условиями а) из п.7.5.2, 
оказывается существенио сложнее регрессионной задачи (7.83). 
Тем не менее ввиду своей актуальности она уже давно привлек- 
ла внимание статистиков. По-видимому, первая работа, посвя- 
щенная задаче (7.84), появилась в 1901 г. [235] и содержала 
идею, лежащую в основе практически всех результатов, свя- 
занных с упомянутой задачей. Идея предельно проста: за оцен- 
ки параметров © принимать те значения, при которых мини- 
мально суммарное расстояние точек (Хе, у;) от поверхности 
у = | (Х;9) в легко интерпретируемой метрике, т. е. 


б=аге ша У 12 (0), (7.91} 
ее? 


1=1 
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где 


42 (@) — пил [ (АР -(хыи— Хо а (Хы 


: : 


Оценки (7.91) называют оценками метода наименьших рас- 
стояний. Ниже рассмотрен приближенный вариант этих оце- 
нок, позволяющий обойтись численными процедурами, разви- 
тыми для метода наименьших квадратов. Несложные вычисле- 
ния приводят в линейном случае (} (Х; 9) = 9’Х) к простой 
формуле [ = (у; —9'Х,;)?/(с? -- 20’ 49). В случае произволь- 
ной функции } (Х; 09) (но имеющей необходимое количество. 
производных) и при ошибках #; и *;, удовлетворяющих усло- 
виям а) из п. 7.5.2, имеет место приближенная формула 


1 =щи-—ИХьу ФА (Хоз )--0(17, (7.92) 
где 

(Хи: 9) =Е(Хи; 0)— ‚2 НА; 8). | 

Риз 6) = (Хо) За |} 


их а 21.2 _0Ё(Х; @) „ НХ; 0) 
Ат (Хо в) = 0-1 а 


дх’ Хх=Хь. 


Определим оценки следующим образом: 


—^— 


9, = аг ша У ^ (Хе; 9) (у; — Г (Хев; 0). (7.93) 
ЭЕ® 5—1 


Введем функции 
Зе 97:0) дона) _ ЗЕ; 6) а. дЕ(Х; 0) 
Е (Х; 9) = и 4 (Х; 9) = хх о 
Пусть выполняются условия а) — д) из п. 7.5.2 с очевид- 


ной заменой ЁР (Хо; 9) наР (Х; ®) и Хе; 9) наЁ(Х; ©) и до- 
полнительно существует предел 


У.^(Х,; 9. 4(Х;; 9%); 
$=1 


2 (9,) = Нити 


тогда в рамках приближения (7.92): 
1) оценка (7.93) и сильно состоятельна и асимптотически- 
нормальна, т. е. 


Нт Р{Уп @,—0)<8=$Ф, (6 0, 1.5), 


по 
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где 
2; =21(0.) (6) +7 2012-16); 


2) сильно состоятельными оценками матриц 2 (9) ир (9.) 
являются соответственно матрицы 


п-т У ^ (Хы; 9.) (Хоз 6,) Е’ (Хз 9.) — 19 (Хо; 6, 


1—1 


п У, ^ (Хог, 6,).а(Хо:;9,). 


=] 


Ряд полезных результатов, описывающих поведение «при- 
ближенных» оценок в рамках исходной модели (7.91), обсуж- 
дается в [81]. 

При подсчете оценок (7.93) оказывается удобным введение 
фиктивных наблюдений уу =0 и отклика 


(Ха; 0) = м! (Хи; @) и: 1 (Хо 0). 


Для минимизации функции 
п = 
2 __ ия . 2 
9п (9) =п-* У (у: —[(Жьь 9)) 
1—1 
можно обратиться к любой программе нелинейного мнк. Обыч- 
но в этих программах в качестве оценки ковариационной мат- 
—^ = 
рицы используется магрица Х = (п) = ть, 
где 


7 п-: У 9 ов 6) О (Жан 6) 


‚^ 00 де в—5., 


Можно показать, что 
7.„-—-2(9,)--\^г(9,) при п-— со почти наверное, 


Т. е. Хе (п) является заниженной оценкой дисперсионно-кова- 
риационной матрицы 25. 


7.5.4. Некоторые принципиальные отличия регрессионных 
задач (7.83) и (7.84). Как нетрудно видеть, в первом случае 
любая оценка вида 


6, = ага тии и-1 У оу: Хы; ФР 
($]=3 9. 


==] 
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является сильно состоятельной. Оценка (7.87) является по эф- 
фективности асимптотически эквивалентной наилучшей (т. е. с 
оптимально выбранными весами @&;) среди них. Для задачи 
{7.83) оказывается возможным состоятельно оценить парамет- 
ры ©, не используя информации о дисперсиях с? и 4. Этот факт 
позволяет в свою очередь говорить о состоятельном оценива- 
нии параметров 0? и (см (7.90)). В случае (7.84) отсутствие 
информации о с? и @ не позволяет построить состоятельных оце- 
нок параметров 9. Подобный результат был впервые отмечен, 
по-видимому, в [223]. 

Другим, менее существенным отличием является знак поп- 
равки к функции } (Хо; 9) в схемах активного и пассивного 
экспериментов. 
7.5.5. Неявное задание отклика. В`тех случаях, когда пере- 
менные, подверженные ошибкам, не разделяются естествен- 
ным образом на две группы (зависимые переменные и предик- 
торы), целесообразно обратиться к рассмотрению неявных зави- 
симостей (7.81). 

Будем рассматривать модель 


М (Хо: 9) = 0, Х: = Хо: --;, = 1, Й.. (7.94) 


Экспериментатору известна функция М (Хо; @) и искажен- 
ные наблюдения Х;. Переменные ч, входящие в (7.81'’), опу- 


щены, так как их введение непринципиально для последующих 
результатов. 


Предположим, что ошибки 2; = %; удовлетворяют следую- 
щим правилам: они независимы в совокупности и 


Ех; =0, Е (№; %;) = 4, Е (|*0 %9) 0] < с о, 
1=1,2,...п; В дг=Ь, 2, ..., р. 


Так же, как и выше, рассмотрим оценки метода наименьших 
расстояний: 


8, = гепии У! Й (6), (7.95) 
9" 1—1 
где 


1 (0) = пи (Х;— Хе)" 9-1 (Х, — Хо); М (Хок 0) =0. 
[} 
Пуеть вначале М (Хъ; 9)=1- 9’ Хо. Тогда 


0. = аге шт У, а’ х,* 


ве, | 9’ а9 
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что, по существу, совпадает с (7.91). 
Если М (Х.; 9) =1- 9'’т(Х,,, то, полагая 


Хе — |, (Хе), 


Хх — 56 [-2%09. 
ХХ) — $ (ху ‘| _,) 


а — 0 а. 9% 
ах! 9х 


< точностью до О (13) (7.85) можно переписать в виде 


п . ; 3 

Э —= аге пп (9х) 
п — . 

Фея = 9’.а;.9 


В случае произвольной параметризации с точностью до 
О (15): 


—^ 2 :. 
9, = агё шп МА (Хь 9). 
ве ‚—, Ф(Хр 8) 


, 


где 
М(Х:; 0) = М(Х; 0) — 5-х } 
2 хо хх, 
ф(Х 9) = 9М (Х; 9) ‚а. ОМ (Х; 9) 
эх’ 9% хх, 


Для оценок @, имеют место результаты, практически пол- 
ностью аналогичные изложенным в п. 7.5.3. 

В заключение отметим, что в [86] можно найти описание 
конкретных реализаций на ЭВМ описанных выше алгоритмов. 


7.6. Оценивание в регрессионных моделях 
со случайными параметрами 
(регрессионные задачи второго рода) 


7.6.1. Постановка задачи. Рассмотрим следующую модель: 
у; =9;1(Х,;) =» [=], Пу, ]=1, Е, (7.96) 


где случайные величины в;; при фиксированном 7 удовлет- 
воряют стандартным требованиям: Ее;;=0, Е (в; ;-2;';)=6и, - 0. 
Параметры 9; предполагаются случайными, причем @; = 
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= (0,,, ..., 0,;), Е9; = 9, ЕЦ60, — ©.) (9; — 8,1 = $. В 
зависимости от постановки задачи вектор ©, и матрица Х мо- 
гут быть илизаданы, или неизвестны. Величины ®;и в;; пред- 
полагаются некоррелированными. 

В практических исследованиях индексом | может служить, 
например, номер предприятия из совокупности аналогичных, 
номер партии сырья, номер пациента из группы больных, под- 
вергающихся одному и тому же способу лечения, ит. д. 

В тех случаях, когда выясняется поведение каждого 1-го 
объекта, необходимо решать задачу об оценивании параметров 


9,, | = 1,^. Если же необходимо понять поведение всей сово- 
купности объектов, то приходится говорить об оценивании век- 
тора ©.. 

7.6.2. Случай, когда средние значения 9, и ковариационная 
матрица » оцениваемых параметров известны (требуется оце- 
нить параметры ©9;). Необходимо, чтобы оценки удовлетворяли 
следующим требованиям (ср. с. 8 7.1): 


0;=1.%,-- 1. ©; 
ЕО, = 0; (7.97) 
р(9)=Е @,—©; (9,—69;'1= пит Е (4%, 


-- с, 9, —9) (1. #,-1.0,—90}1, 
где 


41 = (илл Ур; -.. Уп, )'] 


В (7.97) подразумевается, что матрица В* является реше- 
нием экстремальной задачи А (В*) = пит А (В), где А (В)/— 


положительно полуопределенная матрица при всех допусти- 
мых В, если выполняется матричное неравенство А (В) > 
—>А (В*). 

По аналогии с $7.1 нетрудно получить (см. например, [135}), 
что 


9, = (м, -- 5-1 -1(5-10, У); (7.98) 
2(0;) = (м;-+ >-1)-1, 
где 


М, = 0-я у ИХЬЕ (Хр = 9-Е, Е; 


= 
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п, 
У;=0-? Му Ц = 0-Е, 4. 

2—1 
Очевидно, что О (©) = В (9), где 9; — обычная мнк- 


оценка (9 = М-}%;). Выше предполагалось, что дисперсия 
с? задана. В противном случае в (7.98) следует использовать 
какую-либо подходящую оценку этой величины, например 


— 1 Ё пу , 
0°= у У (у, 09,1. 
У (и; рии! 


Г=1 


Конечно, два последних требования из (7.97) будут при 
этом выполняться лишь приближенно. Данное замечание от- 
носится и к случаям, рассмотренным вп. 7.6.3 и 7.6.4. Нетруд- 
но проверить, что оценки (7.98) могут быть получены так же, 
как решение следующей экстремальной задачи: 


—^ 


9; =: агё пит | У (у:-—9’ Ех, (9—9, О] 
9 1=1 


(7.99) 


7.6.3. Случай, когда известна только ковариационная матрица 
Х (требуется оценить параметры ©; и 0,). 


Начнем с оценки для ©,. Регрессионная задача (7.96) может 
быть переписана в виде 


у; = (Фо (Х,}) - (9; —9) Е(Х,)- =; = Фо (ХЕ: 
причем из свойств случайных величин ©; и &;; следует 

Еу:; =0, Е (у; \;.) = ди’ Ху 

И Ен \; == (Ур... %,). 


В соответствии с [15] (случай коррелированных наблюде- 
ний) наилучшие линейные оценки имеют следующий вид: 


9, —.4-:У, 0 (@0,) =.4, (7.100) 
где 
|: — к 
— У, 4, У = р: 
1 =1 |= 
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Формула (7.100) приводит к весьма громоздким вычисле- 
ниям, особенно при п; » [, вследствие необходимости обраще- 


ния матриц »,, ] = 1, Е. Можно уменьшить объем вычислений, 
если прибегнуть к формуле 


У; 1 — 0? 1,—Р; (2-1 0-26, Е;)-1Е;, 


которая является очевидным следствием известной формулы 
[117] 


(А-+-ВСВ’)-1=А-1—А-1В (В’ А-В -- С-1)-1В’А-1. 


При |Р;Е/ =-0 удается добиться дальнейшего упроще- 
ния вычислений. Оказывается, что 


— Ё — 
6, = 4-1 У (М;:-+2)-+6, 
]1=1 

где 9; =М-ТУ,. Иными словами, 9, является линейной ком- 
бинацией наилучших линейных несмещенных оценок для каж- 
дой |-й серии наблюдений без учета случайного характера 
9;. Это позволяет проводить основную часть расчетов по 
стандартным алгоритмам линейного регрессионного анализа. 

Вычисления становятся совсем простыми, если РЕ; == РЁ, т. е. 
планы экспериментов над различными объектами одинаковы. 
При этом 


— Е — — 
9 = #1 У 6,06) =#-1(М-1--3), 
]=1 
где М = о?ЕЁ” 
Оценки ©; вычисляются по формуле (7.98) с заменой @, 


на оценку ©. 
7.6.4. Случай неизвестных ®, и » (требуется оценить ©;, @, 


и %). В качестве оценок 9; можно использовать (7.98), если 
9, и УФ заменить на любые подходящие оценки. Например, в 
качестве таких оценок можно выбрать следующие величины: 


9, =Нт@.„, ;= Шт, 


$—> о $-> 0 


р: — 
®,: = 51 У, уз 9,, 4. =(%, М; !)-к (7.101) 


1-1 


Ё _. — 
х,=(—1)-1У (6,— 6, ‚-1)) (9, —6,, ‚-)). 


1=1 
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Если Е; == Е, то итерационная процедура (7.101) оказыва- 
ется состоящей из одного шага: 


9, =А-1 У 0, = —1- У (0, —6,) (0, —-6,)'. 
— —& 


ВЫВОДЫ 


1. Общая математическая модель линейной регрессии имеет 
вид У = Х9 {| где У — пх |-вектор наблюдений, 
Х = (Х.... Х,)’— их р-матрица плана экспериментов, 
Хь — регрессор А-го наблюдения, 9 — (рх 1) -вектор не- 
известных параметров, = — (п Хх 1) — вектор случайных 
ошибок. В классической постановке задачи линейной регрес- 
сии предполагается, что = СМ (0, о?1,), где В — ипхп- 
единичная матрица. Оценки по методу наименьших квадратов 
(мнк-оценки) отыскиваются из условия минимизации по 
© величины [|У — Х@]||. Когда |Х’Х|=20 (ранг Х равен р), 


9 = (Х’Х)-*Х'’У. Оценкой 0? является 5 = [|У — Х@|| 
/(п — г) гдег — ранг матрицы Х. Случай, когда г Е М (0, 
9*\), где У— известная положительно определенная матрица, 
легко сводится к рассмотренному путем линейного преобразо- 
вания Уи Х. 

2. В классических предположениях в случаях, когда 
матрицу плана экспериментов можно представить состоя- 
щей из Е взаимоортогональных совокупностей столбцов 
Х = (Х,,..., Х,»), ХХ, = 0, 15=р, вычисления значительно 
упрощаются, и компоненты вектора 9=(941°”,..., 9’) ‚ соот- 
ветствующие Х,, оцениваются независимо друг от друга. 
Для проверки гипотез Н;:9() = 0 (ранг Х; равен г;) исполь- 


зуются отношения Ё = 9@)’Х;:Х,900/г,5?, имеющие, когда Н; 
верно, Р (г., п—г)-распределение. 

3. В классических предположениях мнк-оценки совпада- 
ют с оценками максимального правдоподобия и явля- 
ются наилучшими среди всех несмещенных оценок ©. 
Однако при отклонении распределения # от нормаль- 
ного в сторону увеличения вероятности больших отклоне- 
ний мнк-оценки быстро теряют свои оптимальные свойства. 
В связи с этим в практической работе широко используются 
функции потерь р(и) = и?. Среди них выделяется функция 
ра (и) = А * (1 — ехр {— Аи2/2}), при А 0 стремящаяся к 
и?12, а при и — со (А >0) имеющая горизонтальную асимпто- 
ту. Она приводит к так называемым эв-оценкам параметров 
регрессионной зависимости (эв-регрессия или А-регрессия). 
Эти оценки устойчивы к нарушению предположения нормаль- 
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ности, имеют наглядную геометрическую интерпретацию, для 
них (при весьма общих предположениях) получены асимптоти- 
ческие (при л — со) разложения. 

4. Формой учета априорных сведений о распределении пара- 
метров регресснонной модели является байесовское оценива- 
ние. При этом следует различать три подхода: частотный; стан- 
дартные рекомендации, как поступать в условиях неопреде- 
ленности; субъективный. Частотный подход не вызывает воз- 
ражений с методологических позиций. Во втором подходе апри- 
орная (несобственная} плотность распределения параметров 
полагается пропорциональной 400)... 40Р)40/с, что приводит 
порою к серьезным интерпретационным трудностям. Осповная 
трудносгь субъективного подхода состоит в том, что информа- 
ция, полученная из данных, рассматривается на равных осно- 
ваниях с распределением, получаемым из ие полностью фор- 
мализованных соображений. Вместе с тем байесовское оценива- 
ние обладает замечательным свойством — если выборка раз- 
бита на две части, то эквивалентны результаты двух подходов 
к оцениванию: 

1) применение байесовского оценивания к первой выборке, 
использование полученного апостериорного распределения в 
качестве априорного для второй и повторное байесовское оце- 
нивание параметров второй выборки; 

2) одномоментное применение байесовского оценивания к 
объединенной выборке. 

5. В экономических и технологических исследованиях при 
фиксированном значении регрессора Х часто рассматривается 
многомерный отклик У = 4” (Х)9 а, где У — (1хП- 
вектор наблюдений при значении регрессора Х, 4 — извест- 
ная (/Х р)-матричная функция Х, 9 — (рх !)-вектор неизвест- 
ных параметров, а = -—— (Хх |-вектор ошибок Е М (0, \У), 
где У — неизвестная положительно определенная ([Х й- 
матрица. Оценка вектора в многомерной регрессии проводится 
одновременно с оценкой матрицы У путем итеративного реше- 
ния нелинейной системы уравнений. Разработаны устойчивые 
методы оценки многомерной регрессии. Многомерная регрес- 
сия может использоваться при описании многомерных распре- 
делений. 

6. Во многих задачах регрессионного типа разбиение перемен- 
ных на две жесткие группы (в первую входят переменные, 
наблюдаемые с ошибкой, во вторую — переменные, значения 
которых известны точно) оказывается неадекватным реальному 
положению дел: все переменные наблюдаются или фиксируют- 
ся с некоторыми ошибками. К настоящему времени в литера- 
туре предложен ряд моделей, описывающих подобные ситуа- 
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ции. Соответствующие им оценки базируются в основном на 
традиционном мнк. 
7. При анализе поведения схожих объектов (например, реак- 
ция однородной группы больных на испытываемое лекарство) 
удобно использовать регрессионные модели второго рода (на- 
пример, и;;=©9;-Р(Х + вх, где индекс ] соответствует номеру 
объекта). Предполагая, что параметры ©; (точнее, их измен- 
чивость) могут быть описаны некоторой вероятностной мо- 
делью, удается построить оценки, которые оказываются эф- 
фективнее оценок, строящихся в отдельности для каждого ]-го 
объекта без учета имеющейся информации о других схожих 
объектах. 

В формальном плане эти оценки оказываются во многом 
схожи с байесовскими оценками. 


Глава 8. ОЦЕНИВАНИЕ ПАРАМЕТРОВ РЕГРЕССИИ 
В УСЛОВИЯХ МУЛЬТИКОЛЛИНЕАРНОСТИ 
И ОТБОР СУЩЕСТВЕННЫХ ПРЕДИКТОРОВ 


8.1. Явление мультиколлинеарности 
и его влияние на мнк-оценки 


Рассмотрим обычную модель линейной по параметрам регрес- 
сии с неслучайными переменными Х = (х@), ..., х{Р))': 


у; = 6, + Хх; Ф-- =, 1=1, п. (8.1) 


Оценки коэффициентов регрессии 9 получаются из решения 
системы уравнений (см. п. 8.6.1) 


50 —С.х, (8.1°’) 


где $ — матрица ковариаций объясняющих переменных раз- 


мерар Х р, С,х — р-мерный вектор оценок ковариаций между 
объясняющими переменными и у. 


Пусть теперь Х = (х0),..., х(Р))’— вектор, компоненты 
которого суть средние значения предсказывающих переменных 


п 
ХФ — — У хо. (8.2) 


Тогда с учетом очевидного тождества для свободного члена-— 
9, = Ех — Х’©, его оценка может быть записана в виде 0, = 
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- _ Х/2 = 1х ; 
= у — А’ ©, где у = "РУ — оценка среднего значения Еу. 
{ —= 


Предсказанное значение у может быть вычислено по одной из 
следующих формул: 


у: = 8-Х; д или у; = у+ 16, (8.3) 
где Х;, = Х; —Х — центрированный вектор Х. 


Матрица ковариаций между оценками параметров запи- 
шется 


У (9) = — 0* 5-1, (8.4) 
а ее оценка 
У (9) — — 52 $-1, (8.4°) 


Где 5° — несмещенная оценка о” (см. $ 11.1). 
Далее иногда будут использоваться и стандартизованные 
(нормированные) объясняющие переменные 


(00 —%°)/сь (8.5) 
где 
0? = — У (0 — хр, (8.5°) 


о} — дисперсия переменной х(0. 
Оценки коэффициентов регрессии для стандартизованных 
переменных получаются из решения системы уравнений 


К@ = оу тих, (8.6) 


где К — матрица корреляций объясняющих переменных, г,х— 
. Ех — 
вектор оценок корреляций переменных Х су, оу =; У (; —у)". 
1=1 


Явление мультиколлинеарности возникает, если между 
объясняющими переменными существуют почти точные линей- 
ные зависимости (в интервале их изменения, определяемого 
матрицей плана Х). В случае существования точных линейных 
соотношений между переменными матрица $ (а следователь- 
но, и В) будет вырожденной и значит обычная обратная матри- 
ца 5-1 (В-!) не существует, а матрица Х (мы рассматриваем 
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случай п >р) будет матрицей неполного ранга. (Случай точ- 
ной линейной зависимости иногда называют «мультиколлине- 
арностью в строгом смысле»). В случае почти точных зависимо- 
стей матрицы $ и К будут плохо обусловлены (см. п. 8.6). 

Мультиколлинеарность в основном появляется в задачах 
пассивного эксперимента, когда исследователь, собирая дан- 
ные, не может влиять на значения объясняющих переменных. 
В активном эксперименте матрица данных Х планируется (см. 
[136]), причем таким образом, что либо матрица $ хорошо обус- 
ловлена, либо априори точно известны линейные зависимости, 
имеющие место между строками (столбцами матрицы Х), и, 
следовательно, ее ранг. 

Применение обычного мнк в условиях мультиколлинеар- 
ности приводит к некоторым нежелательным последствиям (ни- 
же используются нормированные переменные): 


1) значения нормы вектора оценок параметров © и соответ- 
ственно абсолютных величин отдельных его компонент могут 
быть очень велики; количественно оценить этот эффект можно, 
рассматривая величину среднего значения квадрата нормы век- 
тора 


р 
и 0? _ 02 1 
Е|| 9 |= 9 |2-- — Зрв-1 = |9 -- — У —, (8.7) 
п па № 
гдел; (1=1— р) собственные числа матрицы К; если минималь- 
ное собственное число Аш:ш Достаточно мало, то вклад второго 
слагаемого будет велик; 


2) дисперсии компонент вектора © могут стать относитель- 
но столь большими, что оценки параметров будут статистичес- 
ки незначимыми; из (11.11) легко получить, что дисперсия оцен- 
ки параметра 0; равна: 


— 02 
06; = т(—®. (8.8) 


где Ю; — коэффициент множественной корреляции между 

переменной х и остальными предсказывающими перемен- 
—щ— 

ными; сама оценка параметра 09; распределена по нормальному 


закону М (69,, 06.) (см. (11.13)); очевидно, если 0,/И 06; <1, 
что может произойти при величине Ю?, достаточно близкой к 1, 


то вероятность того, что значение |0;| превзойдет некоторый 
уровень, выбранный для отвержения нулевой гипотезы (т.е. 
гипотезы 0; = 0), будет мала; 
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3) абсолютные значения коэффициентов корреляции между 


оценками параметров 6; и; (1, = 1, р; [=> 7) близки к 1, что 
делает, например, бессмысленным построение доверительных 
интервалов отдельно для каждой из этих оценок (в подобных 
ситуациях приходится строить совместную доверительную об- 
ласть для обеих оценок); 


4) величины оценок 9; существенно меняются при незначи- 
тельном возмущении матрицы Х (может измениться даже знак 


— 


коэффициента 0;); здесь количественной характеристикой яв- 
ляются числа обусловленности матриц Х и К 


Хх (К) — Атах / ти) х (Х) — Ух (К) 


(подробнее о числах обусловленности см, п.8.6). 

Все эти эффекты затрудняют и без того сложную задачу ин- 
терпретации коэффициентов регрессии или вообще делают не- 
возможным ее решение без привлечения новых способов обра- 
ботки и дополнительной информации. В этих условиях нельзя 
применять уравнение регрессии и для прогноза значений пере- 
менной у. В то же время если уравнение регрессии предполага- 
ется использовать для целей прогноза значений переменной у 
только в точках, близких к значениям объясняющих перемен- 
ных х),..., хФиз матрицы данных Х, то оно может оказать- 
ся вполне удовлетворительным: независимо от степени связи 
между предсказывающими переменными качество уравнения 
регрессии определяется значением коэффициента множествен- 
ной корреляции К,.х между переменной у и переменными Х 
(хотя при этом может быть необходимо принять некоторые 
предосторожности чисто вычислительного характера). Таким 
образом, последствия мультиколлинеарности тем серьезнее, 
чем больше информации мы хотим получить из имеющейся со- 
вокупности наблюдений. 


8.2. Регрессия на главные компоненты 


Поскольку мультиколлинеарность связана с высокой степенью 
корреляции между исходными переменными, можно попытать- 
ся обойти эту трудность, используя в качестве новых перемен- 
ных некоторые линейные комбинации исходных переменных, 
выбранные так, чтобы корреляции между ними были малы или 
вообще отсутствовали. Тогда матрица корреляций между оцен- 
ками параметров относительно новых переменных будет близ- 
ка к диагональной, что существенно упростит интерпретацию. 
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Когда переменных немного или имеются некоторые априорные 
теоретические данные, выбор таких комбинаций может быть 
осуществлен из содержательных соображений; в более общей 
ситуации один из возможных подходов основывается на исполь- 
зовании так называемых главных компонент (см. [14, п. 10.5.2]), 
что приводит к регрессии на главные компоненты 155, 
201, 219]. 

Пусть О1,.... И» — нормированные собственные векторы 
матрицы К, расположенные в порядке убывания соответствую- 
щих им собственных чисел А. > А. 2... 2А,р. Тогда ]-я глав- 
ная компонента [14, п. 10.5.2] определяется как линейная ком- 
бинация исходных переменных, коэффициенты которой равны 


р 
компонентам 7-го собственного вектора, т. е. 2Ф = УХ изх®. 
=] 
Поскольку главные компоненты некоррелированы, значе- 
ния оценок &; параметров &; регрессии при {-й компоненте не 
зависят от того, какие еще компоненты включены в уравнение 
регрессии, и равны: 


п 

1 ; | —_ 

Ха = (тих О), (8.9) 
#=1 7 
где 2(/) — значение /-й главной компоненты для А-го наблюде- 


= ] 


бы 


—^ 


ния. Матрица ковариаций оценок 8; диагональна, и непосред- 
—^ 


ственно из (11.11) следует, что дисперсия 1-го коэффициента 5; 
равна: 


бб; = 0—1 А, (8.10) 


т. е. ошибка коэффициента регрессии минимальна для первой 
главной компоненты и растет с увеличением номера главной 
компоненты. 


Квадрат коэффициента корреляции между ]-й главной ком- 
понентой и у 


т (шх ИЛ, 08. (8.11) 


Отсутствие корреляции между главными компонентами по- 
зволяет легко организовать пошаговую процедуру отбора 
(см. п.8.7.3) информативных для предсказания у главных ком- 
понент, результат которой в этом случае будет эквивалентен 
полному перебору. 


Рассмотрим следующие критерии отбора, использующие 
главные компоненты. 
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1. г-статистика для проверки значимости коэффициента 
регрессии при /-й главной компоненте: 


Е, =@-Пм т, (8.12) 


5 


В случае истинности нулевой гипотезы (5; = 0) эта величи- 
на имеет {-распределение. Будем использовать схему пошагово- 
го удаления переменных. Задаваясь некоторым пороговым зна- 
чением 2;дал, Исключаем из уравнения регрессии /-ю главную 
компоненту, если 


[2:1 < удал. (8.13) 


В силу независимости оценок параметров 5; никакого пере- 
счета остальных коэффициентов при удалении той или иной 
главной компоненты проводить не надо. Обычно в качестве 
дал» Выбирают значения №1, 1,05, 1,0» Для #{-распределе- 
ния с соответствующим числом степеней свободы. Другой. спо- 
соб выбора критического значения дан в п. 8.5.2 (см. (8.58)). 

Число степеней свободы зависит от того, какая оценка дис- 
персии ошибки используется. Можно использовать мнк-оцен- 
ку дисперсии или, что эквивалентно, оценку дисперсии, полу- 
чаемую при включении в уравнение регрессии всех р главных 
компонент. Тогда число степеней свободы ух =п — р— |, а 
оценка дисперсии 5? имеет вид: 


2/1. р? 
2—9 (1 Ку.р) , (8.14) 
п р—1 

>“ —^мщ 
где Ю,., = Ю,.х — оценка коэффициента множественной 
корреляции между и и всеми р главными компонентами. 

С другой стороны, пусть после удаления очередной главной 
компоненты /».: осталось К главных компонент. Тогда, про- 
должая процедуру отбора, можно использовать оценку дис- 
персии 5%, соответствующую уравнению с оставшимися Е глав- 
ными компонентами: 

^ 1 о 

ИТ. (8.15) 


2 
$ = а оаиииинений 
п^&—1 ’ 


— 
где ^у.„ — коэффициент множественной корреляции между у 
и оставшимися К главными компонентами. Поскольку главные 


р 
компоненты некоррелированы, то имеем Юу., = Убир, где 
1=1 
6; = 1, если главная компонента включена в набор главных 
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компонент, входящих в уравнение регрессии, и 0 — в против- 
ном случае. При такой оценке дисперсии число степеней сво- 
бодыу =п—&—[. 

2. Е-статистика для добавочной информации. Используем 
пошаговую процедуру простого присоединения главных компо- 
нент. Пусть в наборе уже имеется # главных компонент. Тогда 
из всех оставшихся главных компонент находим компоненту с 
максимальным значением Р-статистики 


Ку. 41 Ку (9) 
1 — Кук 


Е = 


и включаем ее в уравнение регрессии, если выполняется 
условие Р >>ЁР,„л. В качестве критического значения Анил 
берут значения процентных точек, например Ро,ов, Ро›о25 ДЛЯ 
Ё-распределения с одной и\ = п — К — 2 степенями свободы. 
Если компонент, для которых выполняется условие Ё > ЕЁ, кл, 
нет, то процесс отбора главных компонент считается окон- 
ченным. Можно показать, что использование Ё-критерия при- 
водит к тому же набору компонент, что и использование 
{-критерия с меняющейся оценкой дисперсии (8.15). 

3. Величина собственного числа для {-й главной компонен- 
ты. Именно эта величина предлагается для отбора главных 
компонент в некоторых работах [163, 43, 2191. Если х®,..., 
Х(Р) сильно взаимно коррелируют, то, начиная с некоторого 
номера {», значения собственных чисел А;о-1, ..., Ар близки к 
нулю, а соответствующие коэффициенты регрессии могут стать 
большими по абсолютной величине. Дисперсии оценок коэффи- 
циентов регрессии, соответствующих этим главным компонен- 
там, также будут велики. Отсюда следует целесообразность уда- 
ления главных компонент с малыми собственными числами, 
т.е. полагаем 


в; — (е,, если А; > Акь; (8.16) 
|0, если А; Ар, 


или, учитывая, что главные компоненты упорядочены по убы- 
ванию собственных чисел, 


д, —)@р если |< %; (8.16*) 
0, если |124, 


где &» — первый номер, для которого выполняется неравенство 
Ао < А кр- 
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Критическое значение Л кр обычно выбирается в виде 


А„р=езр (В) =е У А, (8.17) 


1=1 


где 5р (В) = р — след корреляционной матрицы; е — малая 
величина, например 10-°. 

Другой метод выбора числа компонент основан на общепри- 
нятой методологии использования главных компонент. Зада- 
емся некоторой величиной доли следа я, близкой к |, и вклю- 
чаем в уравнение регрессии компоненты до тех пор, пока 


х ^;/Зр (В) < а. (8.18) 


1=1 


Как только это неравенство перестает выполняться, вклю- 
чение компонент прекращается, и коэффициенты регрессии ос- 
тавшихся главных компонент объявляются статистически не- 
значимыми. 

Подход к отбору главных компонент на основе величины 
собственных чисел эквивалентен регуляризации при вычис- 
лении псевдообратной матрицы на ЭВМ [17]. Он может быть ис- 
пользован и при наличии точной линейной зависимости между 
переменными, которая, однако, «замаскирована» ошибками 
округления при представлении данных в ЭВМ. 

Однако процедуры отбора главных компонент, основанные 
на {-и Е-статистиках, правильнее нацелены на решение сущно- 
сти задачи, хотя при их использовании могут быть отброше- 
ны и некоторые главные компоненты, соответствующие боль- 
шим значениям А; (если они слабо коррелированы с перемен- 
ной и). Правда, как правило, компоненты с малыми значения- 
ми собственных чисел оказываются одновременно и слабо кор- 
релированными с у и также отбрасываются, так что отбор су- 
щественных главных компонент по этим критериям автомати- 
чески приводит и к регуляризации задачи. Зная включенные в 
уравнение компоненты и соответствующие им коэффициенты 
регрессии, легко найти коэффициенты регрессии относительно 


исходных переменных х(),..., х{Р) 
— р — 
0; = У 6 би, (8.19) 


где 6, =1|, если главная компонента включена в информатив- 
ный набор, ид, = 0 — в противном случае. 
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Вообще говоря, полученные таким образом оценки для ко- 
эффициентов 09; будут смещенными. Формулы для дисперсий и 
смещений этих коэффициентов приведены в п. 8.5. 


8.3. Смещенное оценивание 
коэффициентов регрессии 


Как известно (см. п. 7.1.2 и 11.1.1), мнк-оценки являются не- 
смещенными оценками с минимальной дисперсией в классе ли- 
нейных по У = (у,, ..., У» )’ оценок. Однако в условиях мульти- 
коллинеарности эта минимальная дисперсия может быть чрез- 
мерно велика. Оказывается, если отказаться от несмещенно- 


сти, можно построить линейные по У оценки 9, для которых 
средний квадрат отклонения от истинных значений парамет- 


ров © будет меньше, чем для мнк-оценок ©, т. е. 


Е (0 —0)' (0—6) < Е(@— 0)’ (9—0). (8.20) 


Любую оценку 9, линейную по У, можно представить в 
виде 


9 =С6, (8.21) 


где 9 обычная мнк-оценка, а С — матрица размера р Х р, 
не обязательно невырожденная, называемая матрицей редук- 
ЦИИ. 


Оценка вида (8.21) имеет следующие математическое ожида- 
ние и матрицу ковариаций: 


Еб - С0; У (0) -- С-У(@).С' = -°— ©$-1С.. (8.29) 
п 


Для нормированной суммы квадратов отклонений имеем 


А, (9 = х (и: —у— (9'х.)}* --А (0) + @—6)'$(8—6). 


(8.23) 
где А, (9) — нормированная сумма квадратов отклонений для 


мнк-оценки. После некоторых преобразований выражение 
(8 23) можно записать: 


А, (6) =А, (9) +- 9’ (©—1,)' $ (©— 150. (8.24) 
9* 259 


— 


Среднее значение величины А„ равно: 
ЕА, (6) = СР 0 0' (С —1,) $©—1,) 0+ —— $р(©-—1,. 
п 


(8.25) 


Введем функционал, характеризующий качество оценки 
(8.21) (функцию потерь) 


[3, (9, 90) =Е[(9— 9)’ М (9 —6©),, (8.26) 

где \/ — неотрицательно определенная весовая матрица. 
Наиболее часто используются весовые матрицы вида \! = 

— Т,, м =— Чтае ($11»...› $рр), У — $. 

Будем искать теперь оценки 9, минимизирующие функцию по- 

терь (8.26). 

9 = С*0, С* = аге пт [3 (С60, ©). (8.27) 

С 


Такие оценки допускают следующую интерпретацию. 
Пусть, используя матрицу Х и п-мерный вектор значений про- 
гнозируемой величины У, мы получили некоторую оценку па- 


раметров @ и среднего значения зависимой переменной и. Ис- 
пользуем теперь эти оценки для прогноза значений перемен- 
ной у для векторов Х*, не входящих в матрицу Х. Будем счи- 
тать при этом, что модель (8.1) остается верной, а компоненты 
векторов Х * распределены согласно некоторому закону распре- 


деления с вектором средних значений Х = (х@), ..., х{)), 


‘и матрицей ковариаций \. Пусть 8? (Х*, 9) есть квадрат ошиб- 
ки предсказания значения у* для вектора Х*: 


6*(Х*, 6) = (/*— б'(Х=*Х) — и)? = (@'ХЕ + у =*— 

— 9 — и), 

где Х# = Х* — Х — центрированный вектор Х*. 
Тогда 


Ех- 95° (Х*, 9 | У) = (0 —60)' М (@ — 0) + 

+ (у— ВУ)? + (2*)*-- 2=* (у— ВУ). 
Усредняя теперь по #*, имеем 

Е.* Ех, 8 (Х*, б|У) = 0—6)" М (@ — б) + о*- (и—Еи). 
Взяв далее математическое ожидание по У, получаем, что 


Е 8 (Х*, б) = 1+ -—— 0? (8.28) 
п 
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Таким образом, уравнение регрессии с параметрами, опре- 
Веленными из условия минимума функционала (8.26), миними- 
зирует математическое ожидание квадрата ошибки прогноза 
на векторах Х*, не входящих в состав матрицы плана Х, ис- 
пользованной для оценки, в то время как обычная мнк-оценка ми- 
нимизирует сумму квадратов отклонений для матрицы Х. 

Линейное преобразование объясняющих переменных. Рас- 
смотрим теперь, как преобразуются оценки параметров урав- 
нения регрессии и функционал (8.26) при линейном преобразо- 
вании объясняющих переменных. 

Пусть для некоторого набора переменных х“®),..., х(Р) оп- 
ределена оценка вида (8.21), удовлетворяющая условию (8.27) 
минимума функционала (8.26) с весовой матрицей \/х. Перей- 
дем теперь к системе переменных 2 == (2(1),..., 2(Р))’, связан- 
ных с Х невырожденным линейным преобразованием №: 2 = 
= ’Х. Тогда мнк-оценкой параметров уравнения регрессии 
для переменных 2 будет вектор 


9. = 1,-1 9х, (8.29) 


где через Ох, 92; обозначена мнк-оценка соответственно для 
переменных Х (2). 


Аналогично смещенная оценка Ох (8.21) преобразуется в 
оценку 


9, == [.-1 Ох=Е.-! Сх 0... (8.29) 
С учетом (8.29) имеем 
9.= (Е Ср-1) 92. (8.30) 


Таким образом, оценке параметров уравнения регрессии в 
пространстве переменных Х с матрицей редукции Сх в про- 
странстве переменных С соответствует оценка с матрицей ре- 
дукции 


С:= 1. Сх Е". (8.31) 


Весовая матрица в мере качества оценки тоже меняется. 
Имеем 


14, „(@х, Ох) =Е (9х—9х' \/х (9х— 0х) = 
—=Е (0,— 92) (1.-1)' \хЕ-1(6;— 02) = [4 @2, 0). (8.32) 
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Таким образом, матрица С; получается как решение задачи 
минимизации функционала (8.26) с преобразованной весовой 
матрицей 


\х— М == (1-1) МХ. (8.33) 


Заметим, что если \/х есть ковариационная матрица пере 
менных Х, то матрица \/: будет ковариационной матрицей 
переменных 2. 


8.4. Редуцированные оценки для стандартной 
модели линейной регрессии 


Как уже указано в $ 8.3, общий вид редуцированной оценки 
коэффициентов регрессии задается с помощью соотношения 
(8.21). Используемая там матрица редукции С, как показано 
дальше, является либо функцией неизвестных параметров ©, 
т.е. С -= С (9), либо функцией оценок этих параметров С = 


= © (9). Следовательно, в последнем случае С будет случайной 
величиной. Такую матрицу назовем стохастической (формулы 
(8.22), (8.25) в случае стохастической матрицы уже не будут 
верными). Если матрица С — стохастическая, то оценки вида 
(8.21), строго говоря, не будут линейными по У, однако самое 
важное их свойство, определяющее их полезность для прило- 
жений, — уменьшение среднего квадрата отклонений (8.26) 
(в метрике матрицы \) — сохраняется. 

Первоначально название «редуцированные («зПгшКабе») 


оценки» относилось к оценкам вида 9 -- 0. где _скаляр Ас 
Е (0,1). Матрица С для этой оценки имеет вид С = Ч1ав (&А,,..., 
^). Смысл введения множителя А, состоит в уменьшении длины 


(евклидовой нормы) вектора оценок ©, по сравнению с ©, ко- 
торая в условиях мультиколлинеарности может существенно 
превышать длину истинного вектора параметров © (см. (8.7)). 
8.4.1. Оценка Джеймса — Стейна. Для рассмотрения оценки 
Джеймса — Стейна перейдем предварительно к ортонормиро- 


ванным переменным У == (00,..., 9)’ и модель регрессии 
запишем в виде 
== о ГУ, а, =, (8.34) 


и У\У’= Ц, У=0. 


Такая модель может быть получена, например, в полиноми- 
альной регрессии при переходе к ортонормированной системе 
полиномов. В общей модели регрессии ортонормированными 
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переменными, в частности, будут переменные о -= 


—= 2Ф/У пА,, где 24) — главные компоненты (см. 58.2) матри- 
цы Х. 


—^— 


Мнк-оценка для коэффициентов Г записывается в виде Г = 


== пС’м, и ее распределение подчиняется р-мерному нормаль- 
‘ному закону Г №» (Г, о*1,). 

Пусть теперь в качестве функции потерь, соответствующей 
некоторой оценке Т паоаметров регрессии Г, используется 
функция потерь вида (8.26) с единичной матрицей, т.е. 


— р — — 
[1 (Г, Г) = УЕ(Г,— Г) = Е ГГ. (8.35) 


фе] 
Для мнк-оценки [1 (Г, Г) = ро*, верна следующая теоре- 


ма [216]. 
Теорема Джеймса — Стейна. Пусть р > 3. Тогда оценка 


Г (с) — ^ 15 Г. (8.36) 


где Л/з = (1 — пс, (Г/ИТИ», с — любое число в интер- 
вале 0<с < 2 (р — 2)/(п — р + 2), «лучше» мнк-оценки Г, 
в смысле критерия (8.35), каков бы ни был вектор неизвестных 


параметров Г. Иными словами, при любом Г верно неравенст- 
во 


[1 (Г (©, Г =ЕНР О — ГРАЕ| ГГ = ро. 


Условие р >> 3 является существенным, так как, как пока- 
зано в [216], когда р = | или р = 2, не существует оценки Г* 
лучшей, чем мнк-оценка в смысле (8.35), т. е. такой оценки, что- 


бы [1 (Г*, Г) < [1 (Г, Г) для всех Г. 
Используя оценку коэффициента множественной корреля- 
ции между уи Х, множитель Стейна можно записать в виде, 


инвариантном относительно преобразования предсказываю- 
щих переменных 


п 


^А;5= я (1— В? х)/Вх. (8.37) 


Когда с = 2 (р — 2)/(п — р + 1), получим оценку Г, для 


которой [1 (Г,Г) = Ё1 (Г, Г) = ро? при всех Г, так что это 
значение с приводит к оценке, не лучшей чем мнк-оценка. Если 
с = 0, оценка Стейна, очевидно, просто совпадает с мнк-оцен- 


кой. Минимальное значение функции потерь [1 (Г (6), Г) 
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достигается при значении с* = (р— 2) / пор -|2). 
Тогда [.3 (Г (с*), Г) = 2по?/(п — р-| 2), т. е. примерно рав- 
но 20*, когда п У р. Отсюда следует, что оценка Джеймса — 
Стейна при больших р и п лучше мнк-оценки примерно в р/2 
раз. 

В то же время при наличии мультиколлинеарности оценка 
Джеймса — Стейна может оказаться столь же неудовлетвори- 
тельной, как и обычная мнк-оценка. Чтобы показать это, вер- 
немся от ортонормированных переменных У к главным компо- 
нентам С, что соответствует линейному преобразованию 2% = 


= ИУлАюФ (1 = 1, р). Тогда согласно формуле (8.30) оценка 
Джеймса — Стейна для параметров уравнения регрессии на 
главные компоненты будет иметь в точности вид (8.36). т. е. 


С =Аз С. (8.38) 


Однако согласно формуле (8.32) оценка {6 минимизирует 
уже не функцию потерь (8.35), а функцию потерь 


— р _ 
ГА (6, б)=Е У №, (Е. — 8% (8.39) 


| ==] 


Таким образом, ошибки оценок коэффициентов д;, соответ- 
‚ствующих главным компонентам с минимальными значения- 
ми дисперсии Л;, т. е. компонентам, «наиболее ответственным» 
за мультиколлинеарность, входят в функцию потерь с мини- 
мальными весами Л;. Это означает, что улучшение оценки 
Джеймса — Стейна по сравнению с мнк-оценкой достигается в 
первую очередь за счет уменьшения вклада компонент с отно- 
сительно большой дисперсией, хотя при мультиколлинеарно- 
сти, напротив, следует подавлять вклад компонент с минималь- 
ной дисперсией. 

Улучшенная оценка Джеймса — Стейна. Как следует из 
выражения (8.37), при достаточно малых значениях Ю,х мно- 
житель А.5 может стать отрицательным. Этого недостатка ли- 
шена улучшенная оценка типа Джеймса — Стейна, приведен- 
ная в [249] ". Она определяется как редуцированная оценка 


б* -- цб. (8.40) 


1В [249] приведены ссылки на источники, в которых получена и 
изучалась улучшенная оценка Джеймса—Стейна. 
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где множитель 
Аз (С), когда й4$ (с) >> 0; 


(8.41) 
0, когда А$ (с) < 0, 


м (с} = 


9 — обычная мнк-оценка. 

Для ортонормированных переменных У показано [249], 
что оценка с редуцирующим множителем и лучше оценки 
Джеймса — Стейна. (а тем более мнк-оценки по критерию 
(Г, Г)), хотя оптимальное значение с* и соответствующее ми- 


нимальное значение [1 (Г (с*), Г) для нее аналитически не оп- 
ределены. Однако можно полагать, что они близки соответст- 
вующим значениям для оценки Джеймса — Стейна. 

Для регрессии у на главные компоненты и на исходные пере- 
менные оценки типа (8.40) лучше оценки Джеймса — Стейна и 
мнк-оценки по соответственно взвешенным критериям Гл и 
[3. 

Применение оценки Джеймса — Стейна для уточнения час- 
ти параметров. Оценку Джеймса — Стейна, равно как и улуч- 
шенную оценку (8.40), можно применить для уточнения части 
параметров уравнения регрессии, лишь бы количество уточ- 
няемых параметров 9 удовлетворяло неравенству д > 3. 

Рассмотрим снова модель (8.34). Представим вектор Г” 
в Биде Г’ = (Г@)’, Г’), где ГО)’ имеет размерность р — 4, 


а Г” — размерность 9. Вектор Г разобьется на два подвек- 
тора Г’= (Г, Г@») размерности р — ди д соответственно 
Введем множитель 

Ат (Г) 

5 2 ? 
те | 


где 0<с® < 2 (9—2) — р-+ 2). 
Тогда оценки 


4$ = 1— с(2) 


- [Та  \= [Та \ 

Е Го. (8.41), (8.42) 
№2 Те), (2) Те) 

лучше мнк-оценки по критерию (8.35). Оптимальное значение 

с?) = (49 — 2)/(п — р + 2). В таком виде оценка Джеймса— 

— Стейна позволяет существенно улучшить мнк-оценку в ус- 

ловиях мультиколлинеарности. Действительно, выделяя во 


вторую составляющую Г“) вектора Г коэффициенты, соответ- 
ствующие, например, малым собственным числам А; или ма- 
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лым значениям #-статистики (8.12), и используя затем множи- 
тель Стейна, можно существенно уменьшить вклад этих компо- 
нент в оценку параметров уравнения регрессии при возвраще- 
нии к исходным переменным. 

8.4.2. Редуцированная оценка Мейера — Уилке. Матрица ре- 
дукции С для этой оценки получается как решение задачи ми- 
нимизации следа ковариационной матрицы ‘вектора @ = С*9 
при условии, что нормированная сумма квадратов отклоне- 


НИЙ А, (0) = 5, >0 [231. Используя формулы (8.22), (8.24), 
задачу минимизации для определения матрицы С* можно за- 
писать в виде 


С* = аге пт Зр (С$-1 С’) (8.43) 
С 


при условии ДА. (9) +69’ (С*—1) $ (С* —09= 5, (8.43') 
что дает в результате 

С* =506'’(1+506°)-*, (8.44) 
где д выбирается так, чтобы выполнялось условие (8.43), от- 


куда после преобразования по формуле Бартлетта [117] оцен- 
ка' запишется 


9 — Лмьб, (8.45) 
где 
8 ЭР 
С (8.46) 
1+8 [8 | 


Как положительное качество оценки (8.45) отметим, что 
множитель Аму является функцией только мнк-оценки. С дру- 
гой стороны, поскольку оценка Мейера и Уилке является сто- 
хастической редуцированной оценкой, формула (8.22) для ко- 
вариационной матрицы будет неверна (матрица С*$-1 (*' 
отнюдь не является в этом случае ковариационной матрицей 
оценки), поэтому нельзя утверждать, как это делают авторы 
оценки, что она минимизирует след ковариационной матрицы. 
Величина функционала качества (8.26) для нее также пока не- 
известна, так что в отличие от оценки Стейна нельзя сказать, 
при каких условиях и в каком смысле она лучше мнк-оценки. 


Некоторые другие типы редуцированных оценок приведены 
в [43, 66.5]. 


1В [231] при преобразованиях была допущена ощибка, в результа- 
те чего множитель Ами определен неверно. Эта ошибка исправлена в 


[43]. 
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8.5. Оценки, связанные 
с ортогональным разложением 


Использование функционала [4 (8.26) как меры качества оцен- 


ки © че гарантирует еще, что каждая компонента вектора 9 
имеет меньшую среднеквадратическую ошибку, чем вектор 
мнк-оценок (см., например, п. 8.3.1). Однако, как гоказано в 
[192], оценки, уменьшающие среднеквадратическую ошибку 
каждой из компонент вектора, существуют, в частиости таки- 
ми являются ридж-оценки [208, 209]. В настоящем разделе 
проводится рассмотрение достаточно общего класса оценок, об- 
ладающих указанным выше свойством. 
Вернемся к регрессии на главные компоненты & = (20),..., 
2(Р)) (см. п. 8.2). Пусть, как и прежде, вектор С есть вектор те- 
—^ 


оретических значений параметров, а С — вектор мнк-оценок. 
Пусть О(,,..., Ир — собственные векторы матрицы 5$. По- 
скольку матрица $ невырождена, векторы Ц; (1 = 1, р) об- 
разуют полную ортонормированную систему (см. [102]), и по- 


этому любой вектор оценок параметров может быть представ- 
лен в виде 


р 
=} —, 
СХ О, где С,х — оценка 

: 
вектора ковариаций С,х между прогнозируемой переменной у 
и переменными (х(,..., х9)). Для самого вектора неизвестных 
параметров 5; = &;. Мы будем рассматривать класс оценок ви- 
да (8.47) с коэффициентом &; = а;5;. 

Таким образом, множитель а; можно рассматривать как 
относительный вес 1-й главной компоненты в оценке параметров 
регрессии © (8.47) по сравнению с ее весом в мнк-оценке. 

Дальше веса А == (4,,..., ар) будут определяться из усло- 
вия минимума функционала качества (8.26). Будем полагать 
при этом, что весовая матрица \ перестановочна с матрицей 
$, т. е. что векторы (И; являются и собственными векторами мат- 


р 
рицы \/, и она представима в виде \ = Уч; (И;И!). Очевидно, 
=! 


здесь охвачены случаи \ = [ и М = $. После несложных 


преобразований получаем следующую формулу для функцио- 
нала качества (8.26): 


= —> 
Для мнк-оценки 5; = 8; = 


У=Е У ш, (в). (8.48) 


$ =1 
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Чтобы получить аналитическое выражение Гу, запишем 
его в виде 


р 2 
6 а 
у -ЕХ т И 2). (8.49) 
где 
С; —=Сух (,, С; = Сух (:. 


Взяв теперь математическое ожидание, получим 


[2 (С, 6) = у их 5 — 1) А, а? о? /п), (8.50) 
2=1| 
или в эквивалентной форме 
р 
[2 (6, 6) = У №, Ё (а 0 ао |. (8.50') 


=] 


Для дальнейшего анализа понадобится еще преобразован- 
ное выражение для нормированной суммы квадратов отклоне- 


НИЙ А, (С). Из (8.23) имеем 


— =. — — р —^ 
А» (С) =(п—р— 1) 0у(1— Ку. х) У А: (а; — 1)* &г. (8.51) 


[= 


Первое слагаемое в (8.51) соответствует применению мнк- 
оценки, а второе возникает, если хотя бы один из вкладов 


а; эЕ[. 


Укажем некоторые часто используемые типы оценок, пред- 
ставимые в виде (8.47). 


Однопараметрическая гребневая регрессия 4[208, 209]. 
Стандартная запись этой оценки имеет вид! 


9 (2) = ($-- #1 -! Сих, (8.52) 


или, что более предпочтительно, когда диагональные элемен- 
ты матрицы $ различны, 


9 = ($-- РОС ($))-1 Сух, (8.52') 


где ОС ($) — диагональная матрица Ч1ае ($11,..., 5рр), Е >0— 
малое число, так называемый параметр гребня. 


1В литер атуре часто употребляется запись вида (Х’Х-НЕГ-Х'У, 
которая для центрированных переменных эквивалентна (8.52). 
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От оценки вида (8.52’) можно перейти к оценке вида (8.52) 
с помощью нормировки матрицы $ к матрице корреляций. Даль- 
ше будем рассматривать только оценки вида (8.51). 


Собственные векторы И; (7 = 1,р) матрицы $ являются и 
собственными векторами матрицы $ -- АЁс собственными чис- 
лами п; = А, -- А. Следовательно, матрица ($ -- КП-* = 

р (:0: — 
= % Е ис учетом (8.48) и вида ©; получаем, что относитель- 

1=1'71 


ные весовые коэффициенты а; для оценки гребневой регрессии 
равны; 


А; 
а; = —— 8.52” 
ОМ В. } 


Значение параметра Е подбирается из решения минимиза- 
ционной задачи для функционала (8.50). 


Многопараметрическая гребневая регрессия [192]. Стан- 
дартная запись соответствующей оценки имеет вид. 


9,2 () == ($ --К)-* Сих, (8.53) 
где К — матрица, перестановочная с $. Собственные числа этой 
матрицы пусть будут К;,,..., Кр. После несложного пересчета 


получаем, что веса вкладов главных компонент для этой мо- 
дели равны: 


Ш А: 
м 


а; 


(= 1, р). (8,53) 


Значения параметров К; (1 = 1, р) подбираются из решения 
оптимизационной задачи для функционала (8.50). 
Оценка Марквардта [227] (оценка дробного ранга). Для этой 


оценки определяются два параметра: рангг и вес %. Весаа; 
имеют вид 


|, [< г, 
= 0 а<1, 17, 
0, > Г. 


Методы определения ранга г и & приведены в [227]. 

Регрессия на главные компоненты. Веса а; могут принимать 
одно из двух значений: а; = |, если выполняется какое-либо 
из условий информативности данной главной компоненты 
(см. п. 8.2), либо а; = 0, если данная компонента удаляется. 
Заметим, что редуцированные оценки Джеймса — Стейна и 
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Мейера — Уилке также могут быть легко представлены в тер- 
минах весовых коэффициентов а;. 

8.5.1. Оптимальное взвешивание вклада главных компонент. 
Найдем теперь значения вкладов а; минимизирующие 
функционал [.%, (С (А), С) (8.50). Для этого учтем, что функцио- 
нал (8.50) представляет собой сумму квадратичных по а; сла- 
гаемых, каждое из которых является функцией только одного 
параметра а; и не зависит от взсовых коэффициентов &; в функ- 
ционале качества. 


Значения а;, минимизирующие функцию потерь, будут оп- 
ределяться простыми выражениями 


а, — в? / (= + тот) (8.54) 


и не зависят от весовой матрицы М. 
— 
Минимальное значение величины 24 (С (А*), А), соответ- 


ствующее точке минимума 4* = (41, ..., ар), будет равно: 
.— р ® 5? 
2 в ОО 
пл; р И 
1=1 вр -- 02/ 


В то время как для мнк-оценки 


р 


[3, (С, 6) = У ш, с. 


Оценка С (А*), соответствующая оптимальному значе- 
нию А*, обладает следующими свойствами: 
1) средний квадрат отклонения любого коэффициента 


2(А*) при 1-й главной компоненте от истинного значения 5; 


меньше, чем для мнк-оценки 5;. Действительно, в силу (8.49) 
каждый член суммы в (8.55) представляет собой средний квад- 


рат отклонения коэффициента в;(А*) от истинного значения 
2 


- &} 
4, т.е. Е (5; (А*) — 5;)* = А ° 2 рот’ 


ответствующей величины = - для мнк-оценки; 


что меньше со- 


2) среднеквадратическое отклонение любого из параметров 


0; ({ =1,р) оценки 9 (4*) (8.48) для переменных х(0)...., 
ХР) от истинного значения @ меньше, чем у мнк-оценок для со- 
ответствующих параметров [192]; 
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3) для применения выражения (8.54) важным является 
то, что в точке а; = 1 (1 = 1,р) первая производная нормиро- 
ванной суммы квадратов отклонений А, (С (4)) по а; равна 0 
(см. формулу (8.51)), и, следовательно, величина А (С (А)) в 
окрестности точки а; = 1 (Е = 1,р) меняется медленно. В то 
же время первая производная [.* (С (А), 0) в окрестности точ- 
ки а; = 1 (= 1,р) положительна. Это позволяет надеяться, 
что можно подобрать такие значения а; < |, что значение ве- 
личины А, (С (А)) возрастет ненамного, а значение функцио- 


нала [,? (С (А), @) при этом уменьшится достаточно заметно. 
В заключение заметим, что многопараметрическая гребне- 
вая регрессия (8.53), основанная на определении значений пара- 
метров гребня К; (: = 1,р), которые минимизируют функцио- 
нал (8.49), полностью эквивалентна регрессии с оптимальными 
весами вкладов главных компонент. 
8.5.2. Оценка оптимальных вкладов главных компонент. Воз- 
никает вопрос, как воспользоваться формулой (8.54) на прак- 
тике, если обе величины 5; и 0? неизвестны? Следуя [207], рас- 
смотрим два метода оценивания а;. 


— 


1. Вместо значений 6; подставляем в (8.54) мнк- оценки 81, 
а в качестве оценки для о? берем величину 5* = пАь А (8) . Тогда 


р 
получим оценки 


па — `в: 2 (о 5 | $2 /А, п). (8.56) 


2. Можно организовать итеративную процедуру следую- 
щим образом: 


Панно = (що ва в) п), 


— [ 
О ве. 


Значения а получаем из (8.56). Величина 5? остается не- 
изменной на всех итерациях. Аналогично [207] можно пока- 
зать, что такой итеративный процесс сходится. Предельное 


значение а; должно удовлетворять уравнению а = (а^9:)/(а?а}-- 
-- 5$2/"^;). Это уравнение имеет три корня: а == 0 и корни, 


—щм — 
удовлетворяющие квадратному уравнению 425? — а? - $/ 


27} 


/пА = 0. Последнее имеет вещественные корни, когда выполня- 
ется условие 


ПА, 62/5 > 4. (8.57) 
Отсюда получаем, что 


0, если ПА; 6? [52 < 4; 


я = о — (8.58) 
+ У амп ‚ если п^; 5? /5° 24. 


[41 


Заметим, что отношение п^,0?/5* есть квадрат {-статистики, ис- 
пользованной в $ 8.2 в одном из методов выделения существен- 
ных главных компонент. Таким образом, отношение (8.57) 
устанавливает еще одну границу для объявления коэффициен- 
тов при главных компонентах нулевыми. 


8.6. Вопросы точности 
вычислительной реализации процедур 
линейного оценивания 


8.6.1. Два метода получения мнк-оценок. Когда набор пред- 
сказывающих переменных и модель определены, мнк-оценки 
неизвестных параметров линейного уравнения регрессии мож- 
но определить путем решения одной из следующих четырех сис- 
тем линейных уравнений: 


11 Х0, =У, (8.60) 


где Х — матрица данных, расширенная путем добавления стро- 
ки из единиц; 9, = (9,, 9’) — вектор размерности (р -- 1), а 
9, — свободный член уравнения регрессии; 


2) х.0=У,, (8.60") 


где Х. -— центрированная матрица данных; Ус — п-мерный 
вектор центрированных значений зависимой переменной у; 


3) (Х'Х)@,=ХУУ, (8.60") 


т. е. 9, является решением нормальной системы уравнений, 
связанной с системой (8.60); 


4) (ХХ, 9 =Х. Ус, (8.60”) 
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т.е. 9 является решением нормальной системы уравнений, свя- 
занной с системой (8.60””). 

Решение системы нормальных уравнений (8.60””) или 
(8.60”) начали применять для получения оценок коэффициен- 
тов регрессии раньше, чем непосредственное решение системы 
линейных уравнений (8.60). Последний метод стали использо- 
вать примерно с середины шестидесятых годов [193, 194] (см. 
также более поздние работы [142, 143]). Основанием ддя актив- 
ной пропаганды непосредственного решения системы (8.60), 
минуя этап получения нормальных уравнений, является дока- 
занная в [193] большая устойчивость численного решения урав- 
нения (8.60) при наличии ошибок округления и представления 
данных в ЭВМ по сравнению с решением системы нормальных 
уравнений. Однако, как показано далее, увеличение устойчиво- 
сти может быть обосновано лишь при некоторых предположе- 
ниях относительно свойств системы уравнений (8.60), которые 
далеко не всегда имеют место на практике. 

Вопрос о выборе способа численного решения имеет смысл 
лишь в том случае, когда погрешность вычисления оценок ко- 
эффициентов регрессии на ЭВМ сравнима по величине с их ста- 
тистическим разбросом, который определяется формулой (8.8). 
Необходимым для этого условием, как мы увидим далее, явля- 
ется наличие мультиколлинеарности. Но при выраженной 
мультиколлинеарности с точки зрения статистической устой- 
чивости оценок лучше переходить к решению регуляризован- 
ных (тем или иным способом) систем уравнений (8.60), (8.60’), 
{8.60”), (8.60”). Для систем нормальных уравнений метода- 
ми регуляризации будут уже рассмотренные метод главных 
компонент (см. $ 8.2) и гребневая регрессия (см. 65 8.5). 
8.6.2. Оценки величин возмущений для решений центриро- 
ванной и соответствующей ей нормальной системы уравнений. 
Пусть А’9 = С некоторая система линейных уравнений, мат- 
рица А’ которой имеет размерность 4 Х Ё (Ё не обязательно 
равно 4), 9 — вектор размерности №, правая часть С — вектор 
размерности д. 

Как показано в [39], решение такой системы, получаемое 
на ЭВМ}, на самом деле совпадает с решением некоторой воз- 
мущенной системы уравнений 


{А--Р)’0*—=С-- АС. 


1В том случае, когда система А’@ = С не имеет решения ‘в эбыч- 

ном смысле или имеет не единственное решение; нод ренением-будет 

пониматься псевдорешение с минимальной нормой, т. е. так называемое 
ормальное псевдорешение [17]. 
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Введем относительную величину возмущения решения ©: 
50 =10—0* |191. 


Величина возмущения 69 как функция возмущений АС,Р 
зависит от двух характеристик системы уравнений: 
1) числа обусловленности матрицы системы [39] 


х (А) — Ртах (А) / тт (А), 


где риах, шт — соответственно наибольшее и наименьшее 
{ненулевое) сингулярные числа матрицы А. Если матрица А 
имеет ранг [, то у нее имеется / ненулевых сингулярных чисел 
©: 2 р. > ... 2 р; Ирнах = 61, Фиш = © Для сингулярных 
чисел матрицы АА’ соответствующей нормальной системы урав- 
нений имеют место равенства [39] 


Отах (АА’) — Отах (А), Отит (АА’) = Олип (А), 
поэтому 
(АА’) = х(А): 
2) величины относительной несогласованности системы 


Аоть (А, С) = пит | А@—С РСТ. 


Для согласованной системы уравнений Аз, (А, С) = 0. 
Рассмотрим теперь для определенности центрированную 
систему уравнений (8.60"), т. е. А = Х., С = У, д=п, А =р. 
Тогда верно следующее утверждение. 
Утверждение. Квадрат величины относительной несог- 
ласованности для центрированной системы уравнений 


0, когда п р-+ 1; 


2 
отн (Х. , — 5. —р— 
И 


Соответствующая нормальная система уравнений всегда 
согласована, поэтому Абн (ХеХе, ХУ) = 0. 

Используя результаты [39, п. 37; 257], запишем теперь сле- 
дующие оценки сверху для относительных погрешностей реше- 
ний центрированной системы (8.60”’) и нормальной системы 
(8.60””): 


190-91 
91 
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< 4,9 (1х (Х.) -- | (2 (Х.) -- 1) у (Х‹, У)) $ маш» 


90 м — 9 | 
ее ее 


Где &и.ш — машинная ошибка округления [136, п.2.2]. 


Когда система плохо обусловлена, величина х (Х.) велика, 
и основную часть погрешности определяют слагаемые с множи- 
телем х? (Х). 

Из приведенных неравенств можно видеть, что с точки зре- 
ния влияния квадрата числа обусловленности х*(Х) на верх- 
нюю границу погрешности решения решать систему (8.60) вы- 
годнее, если система неопределенная (п < р), а в случае пере- 
определенной системы полного ранга (п >р, [= р), только 


/п— и 
если выполняется неравенство 4,9 р р -^ (1 — Ю;х)} <3, 


т. е. если коэффициент множественной корреляции между у и 
Х достаточно велик. Для нецентрированной системы получает- 
ся аналогичный результат. 

Сравнивая два способа решения систем (8.60) (непосредст- 

венно с матрицей Х и с переходом к системе нормальных урав- 
нений), можно сделать вывод, что несогласованные системы 
(8.60), как правило, лучше решать, используя переход к нормаль- 
ной системе уравнений. В статистической практике несогла- 
сованные системы возникают, когда матрица данных Х переоп- 
ределена, т. е. число объектов (столбцов) в ней больше числа 
переменных (строк), и при этом линейные уравнения, входя- 
щие в систему (8.60), не могут выполняться точно. Но превы- 
шение числа объектов над числом переменных — типичная си- 
туация в регрессионном анализе. Второе условие несогласо- 
ванности также часто выполняется, Так как обычно системы ли- 
нейных уравнений используются для оценки параметров линей- 
ных моделей типа (8.1), являющихся лишь приближением дей- 
ствительных соотношений между переменными (мерой этого 
приближения как раз и является дисперсия случайной компо- 
ненты =). Для обоснования перехода к нормальной системе 
уравнений существенно и то, что матрица Х’Х тесно связана с 
ковариационной матрицей, которая является исходным объек- 
том для различных видов многомерного анализа (главных ком- 
понент, факторного анализа и т. д.). 
8.6.3. Центрирование и нормирование матрицы данных. Рас- 
смотрим более подробно, как связаны решения систем нормаль- 
ных уравнений для центрированной Х, и расширенной мат- 
риц данных. 

Так как элементы первой строки расширенной матрицы дан- 
ных полагаются равными единице, система нормальных урав- 
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нений (8.60’’) имеет вид 


попе ... пх) 


—(1) я п 0, 
пх У ЖИ х... У хр"? х4Р) — 
$=1 [=] 9, = 
—(2) х < к 
хо У хх... У хх 0, 
у 
а (1) 
= ом и (8.61) 


1=1 


где х\) — среднеарифметическое значение переменной х(), 
а суммирование в выражениях для элементов вектора Х’У и 
матрицы Х’Х проводится от | дол. 

Если решать систему (8.61) методом последовательного ис- 
ключения Гаусса или приведением матрицы Х’Х к треугольной 
форме, то первый шаг состоит в делении первого уравнения на 
п и вычитании соответствующих кратных первого уравнения 
(1-й строки матрицы Х’Х) из остальных уравнений (строк мат- 
рицы Х’Х) таким образом, чтобы оставшиеся р элементов 
первого столбца матрицы Х”’Х обратились в нуль. Таким обра- 
зом после первого шага мы получим систему уравнений вида 


1х)... Хх) 6, _ 
у 9, |= ы | (8.61') 
б п5 № пСух 

0 

р 


При этом элементы ковариационной матрицы $; (1, ] = 
—=1,р) фактически вычисляются по формуле 


п и: — 
па = У хо х®. (8.62) 
[=] 
Хотя выражение (8.62) теоретически эквивалентно выраже- 
НИЮ 
< (20) (Е) 
п У и), (8.63) 


{Е —- 1 
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однако при реализации на ЭВМ формула (8.63) позволяет вы- 
числять элементы $;, с существенно меньшей погрешностью 
(особенно когда п велико}, чем формула (8.62) (подробнее см. 
вп. 8.6.4). Из первого уравнения системы (8.61’) следует, что 


— — р — -—.. 
__ (7) 
%=у—Х 9;х`, (8.64) 
]1 = 
— —. — — 
7? 
а вектор 9’ = (©,,..., 0») является решением системы и$09 = 


= пСух, т. е. системы (8.60”), поскольку п$ = Х.Х.. 

Таким образом, решение нормальной системы уравнений 
для расширенной матрицы данных сводится к решению систе- 
мы нормальных уравнений с центрированной матрицей данных 
не только теоретически, но и во многих случаях при практичес- 
кой реализации вычислительной процедуры. Отметим в связи 
с этим следующее. 

1. Согласно теореме о разделении собственных чисел [103] 
имеют место неравенства 


Аллах (Х’Х) — А тах (Х. Х.) И Ат (ХХ) => Ата (Х. Х.), 


где Адах (№), Лиш (%) — соответственно максимальное и ми- 
нимальное собственные числа матрицы %. 

Поэтому для чисел обусловленности имеет место неравенст- 
во х (ХёХ.) < к (Х’Х), т. е. центрированная система, как пра- 
вило, лучше обусловлена, чем система с расширенной матрицей 
данных. 

2. Вычисление элементов ковариационной матрицы $ прово- 
дится по неудовлетворительной, при реализации на ЭВМ, фор- 
муле (8.62), что может привести к возникновению дополнитель- 
ной погрешности в решении. Поэтому если переходить к систе- 
ме нормальных уравнений, то целесообразнее получать устой- 
чивую (в вычислительном отношении) оценку ковариационной 
матрицы $ (см. п. 8.6.4), решать систему вида (8.60””) или эк- 


вивалентную ей систему $9 = Сух, а значение свободного чле- 


на 09, получать из (8.64). 
Дальнейшее улучшение обусловленности системы (8.60””) и 
повышение точности вычислительной процедуры можно полу- 
чить, переходя к нормированным переменным [163]. 
8.6.4. Вычисление элементов ковариационной матрицы. Коэф- 
фициенты системы линейных уравнений для центрированных 
переменных являются элементами матрицы ковариаций с точ- 
ностью до множителя п. В связи с этим возникает задача акку- 
ратного вычисления элементов матрицы ковариаций, чтобы из- 
бежать внесения дополнительной погрешности в решение ис- 
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М 


ходной системы (8.69°) при переходе к соответствующей нор- 
мальной системе уравнений. Для этого следует воспользовать 
ся так называемой двухэтапной оценкой 


п, Х [0—7 9) (< о (8.65 
ап=пзл = У (> ; ). 65) 
=] 


Эта оценка названа двухэтапной, поскольку требует предва- 
рительного вычисления средних значений х. Довольно часто 
в литературе по регрессионному анализу предлагается исполь- 
зовать оценку вида 

‹ г) (1 Е тд та) 
ал= У жж хх. (8.66) 
1=1 


Эта оценка обладает определенным преимуществом перед 
двухэтапной оценкой (8.65) с точки зрения организации вычис- 
лений, поскольку позволяет вычислить элементы ад за один 
просмотр данных. Однако она является неудовлетворительной 
в отношении величины погрешности, с которой вычисляются 
элементы ковариационной матрицы. 

Приведем некоторые результаты, позволяющие сравнить точ- 
ность оценки диагональных элементов а;; при использовании 
формул (8.65) и (8.66). Далее для упрощения формул опустим 
индекс номера переменной и будем считать, что оценивается 
дисперсия некоторой переменной х соответственно по одной 


из двух схем: 


а1 = П51 = У (х.—х); (8.67) 
= 
п | —_ 
а = 158 = Уф —. (8.67’) 


Теоретически $1 = $3 = $. Для оценки погрешности вве- 
дем, следуя [173], число обусловленности данных Е = [|х У п5х, 
п 


ГДе 5, — точное значение дисперсии х, ||х|| = Ух}. 
$=1 


Легко видеть, что значение А > 1 и оно возрастает, когда 
$х убывает при фиксированном значении ||х|]. Для относитель- 
ной погрешности оценок (8.67) и (8.61°) верны следующие не- 


равенства: 


| 58—52 


< Зп маш» 


$1 —52 
| Ы— | < Пвиаш-Н п? | маш, 


р 2 
5х 5х 
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гле 2„.ш — Машинная ошибка округления. 

Для реальных задач пеш < 1 и, следовательно, двух- 
этапная оценка существенно точнее оценки (8.66), особенно 
когда значение числа обусловленности для данных ^ велико. 
В некоторых случаях оценка (8.66) может дать даже отрица- 
тельные значения для $х. Не вдаваясь в детальный анализ, 
можно сказать, что относительно низкая точность оценки (8.66) 
объясняется тем, что она представляет собой разность двух 
неотрицательных величин, которые при болыших Е (малых зна- 
чениях 5х) близки друг другу. При вычислении на ЭВМ такая 
ситуация как раз и приводит к потере точности. 

В некоторых ситуациях, например, когда объем данных ве- 
лик, и они размещены во внешней памяти, желательно избе- 
жать двукратного считывания данных при вычислении элемен- 
тов ковариационной матрицы. Для этого можно использовать 
оценки типа скользящего среднего, которые позволяют вычис- 
лять ковариационную матрицу с той же относительной погреш- 
ностью, что и двухэтапная оценка. Приведем один из возмож- 
ных вариантов алгоритмов вычисления элементов ад [259]: 


о) — 0: 
а’ = 0, Ц, =0, К, =0; 


7 =и (Л 

И =Й; 1) 2х, ‚| для [= п: (8.68) 
Н= Ко Жо, | ’’ 

(2) (#—1) Ё› 


ара б-в (50—80 — 1 (Е — 1) (для =2, п). 


Однако этот алгоритм без дополнительных затрат памяти 
нельзя использовать при наличии пропущенных наблюдений. 
Когда значения К и п велики, величина погрешности для 
двухэтапного алгоритма может стать недопустимо большой. 
Один из простых способов улучшения оценки в этом случае 


состоит в вычислении средних значений х) с двойной точно- 
стью. Тогда имеет место следующее неравенство для погрешно- 
сти ошибки: 


< Пёмаш -- О (маш). 


| $1 —52 


$2 


Для оценки скользящего среднего этого же эффекта можно 
добиться, накапливая с двойной точностью значения Й ий. 

О некоторых дальнейших возможностях повышения точно- 
сти оценок ковариационной матрицы см. [173]. 
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8.7. Отбор существенных переменных 
в задачах линейной регрессии 


8.7.1. Влияние отбора переменных на оценку уравнения рег- 
рессии. Один из педходов к оцениванию параметров уравнения 
регрессии при наличии мультиколлинеарности состоит в ‹со- 
кращении количества входящих в модель предсказывающих 
переменных путем отбора подмножества предсказывающих 
переменных, существенных для прогноза значений переменной 
у. Каким бы способом ни проводился отбор переменных, число 
обусловленности уменьшается с уменьшением числа регрессо- 
ров. Процедура отбора существенных переменных, рассматри- 
ваемая как процедура выбора модели, полезна и когда исход- 
ная матрица Х’Х хорошо обусловлена. Но особенно она эффек- 
тивна в условиях мультиколлинеарности, когда объясняющие 
переменные сильно коррелированы. Так, если две какие-либо 
переменные сильно коррелированы с и и друг с другом, то час- 
то бывает достаточно включения в модель одной из них, а до- 
полнительным вкладом от включения другой можно пренеб- 
речь. 

Отбор существенных переменных в пространстве главных 
компонент рассмотрен вп. 8.3. Как там-показано, он приводит к 
следующим результатам: с одной стороны, к некоторому уве- 
личению наблюдаемого значения нормированной суммы квад- 


—^ 
ратов отклонений А», но одновременно к уменьшению средне- 
квадратического отклонения от соответствующих истинных 
значений параметров и к уменьшению средней ошибки прогноза 
для векторов Х *, не входящих в матрицу плана Х (т.е. в обу- 
чающую выборку, см. п.11.3). Последнего можно достичь и 
при отборе существенных переменных в исходном пространст- 
ве (опять-таки за счет увеличения нормированной суммы квад- 
ратов отклонений на обучающей выборке). Фактически отбор 
переменных означает, что исходное множество из р переменных 
делится на два подмножества Х (р—- 4) и Х (9), состоящих из 
таких р —4 и 4 переменных, что коэффициенты регрессии 
при р — 9 переменных, входящих в первое подмножество, по- 
лагаются равными нулю, а коэффициенты при 4 переменных из 
второго подмножества оцениваются по мнк (по окончании про- 
цедуры отбора для оценки можно использовать и методы, изло- 
женные в 5 8.2— 8.5). 

В предположении, что матрица данных Х является неслу- 
чайной, возможны две точки зрения на оценку уравнения рег- 
рессии, полученную после отбора существенных предсказы- 
вающих переменных. 
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Первая точка зрения исходит из того, что модель регрессии 
(8.1) является истинной, и несмещенная оценка коэффициен- 
тов регрессии получается мнк путем решения системы уравне- 
ний (8.3) (в условиях мультиколлинеарности эта оценка может 
быть неудовлетворительной, но тем не менее несмещенной). 
Тогда принудительное приравнивание части коэффициентов 
регрессионного уравнения к 0, что и происходит при отборе 
переменных, естественно, приводит, если матрица % недиаго- 
нальна, к смещенным оценкам коэффициентов при оставшихся 
переменных, т. е. мы приходим к классу смещенных оценок, 
рассмотренных в $ 8.3. 

С другой стороны, процесс отбора существенных перемен- 
ных можно рассматривать как процесс выбора истинной моде- 
ли из множества возможных линейных моделей, которые могут 
быть построены с помощью набора предсказывающих перемен- 
ных, и тогда полученные после отбора оценки коэффициентов 
можно рассматривать как несмещенные, хотя сама процедура 
отбора вводит некоторое смещение [93]. Этой точки зрения мы 
будем придерживаться далее. 

Для случая, когда переменные х\*›,..., х(Р), у — случайные 
величины, вопрос о правильности (истинности) модели не воз- 
никает. Все, что мы ищем в этом случае, — это модель, сохраня- 
ющую ошибку предсказания на разумном уровне, при ограни- 
ченном количестве переменных. 

8.7.2. Критерии качества уравнения регрессии. Любой алго- 
ритм отбора существенных регрессоров выполняет следующую 
последовательность действий: 

генерацию подмножеств переменных; 

сравнение этих подмножеств по некоторому критерию каче- 

ства уравнения регрессии, построенного по этим пере- 
менным; 

проверку конца генерации (остановки алгоритма). 

Рассмотрим наиболее употребительные критерии качества 
уравнения регрессии. Почти все они основаны на измерении 
средней величины ошибки прогноза, на векторах Х, не вошед- 
ших в обучающую выборку (матрицу данных Х), при тех или 
иных предположениях о распределении или способе формиро- 
вания этих векторов. 


1. Коэффициент детерминации (квадрат коэффициента мно- 
жественной корреляции) 


^^ 


пАп 


—^ 
2 


их == | — 


п 
> (и; — 9)? 


$ —= 
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Максимизация Вх эквивалентна минимизации нормиро- 


ванной остаточной суммы квадратов А». В этом смысле `В? х 
можно рассматривать как меру согласия модели с данными. 


Однако, поскольку в выражение для Г х входит и дисперсия 
переменной у, при анализе двух различных совокупностей дан- 
ных (матриц (Х, У)) может иметь место ситуация, когда одна 


ИЗ регрессий имеет меньшее значение А» И в то же время мень- 


шее значение Ау. х за счет увеличения дисперсии с;. В случаях 
задачи отбора переменных это обстоятельство можно не учи- 
тывать, поскольку матрица данных не меняется и Ау. х мож- 
но рассматривать как относительную меру качества уравнения 
регрессии. 


Недостаток Ю;.х как критерия качества уравнения регрес- 
сии состоит в том, что значение коэффициента детерминации не 
убывает (по крайней мере) с ростом числа предсказывающих 
переменных, входящих в модель. Таким образом, модели, в ко- 
торых больше переменных, будут более предпочтительными, ес- 


ли для сравнения использовать Ку.х. Однако для сравнения 
уравнений регрессии с одинаковым числом зависимых перемен- 


ных величина Ю%.х является вполне подходящей. Некоторые 
из перечисленных ниже критериев являются монотонными 


функциями от Юу. х, которые вто же время зависят от числа 
включенных в модель регрессоров 4 и объема выборки п и мо- 


гут убывать с ростом Ю*. х 

2. Скорректированный коэффициент детерминации. Чтобы 
ввести скорректированный — коэффициент детерминации, 
вспомним, что при П— со имеет место равенство 6” = 
—= 0 (1 — Ю%. х‹а)) или Ку.ха = 1 — 6*/0у. Для конечного 
объема обучающей выборки несмещенной оценкой для 0” яв- 


ляется величина 5* = А, /(п — 9 — 1) (4 — число регрессоров 
в модели), а для оу — величина 


= Уи И-П. 


121 
Определим теперь скорректированный коэффициент детер- 


минации из равенства В?. хил) = 1 — 5/0. После несложных 
преобразований получаем связь между обычным и скорректи- 
рованным коэффициентами детерминации: 


= п—1 5 
р ии (1— В х(.). (8.69) 
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В отличие от обычного скорректированный коэффициент 
дерерминации может уменьшаться с ростом числа предсказы- 
вающих переменных 4, если в результате введения дополнитель- 


ной переменной изменение | — Ю7.х(а) оказывается недоста- 
точным для компенсации увеличения отношения (п — 1)/ 
/(п— 9—1). 

В отличие от обычного коэффициента детерминации скор- 
ректированный уменьшается с ростом числа предсказываю- 
щих переменных 4, если в результате введения дополнитель- 


ной переменной изменение 1 — Ку. х(о) оказывается недоста- 
точным для компенсации увеличения отношения (п — 1)/ 
(п — 9—1. 

3. Статистика Мэллоуза Са. В [225] предложено использо- 
вать так называемую С. статистику как меру качества уравне- 


ния регрессии с д предсказывающими переменными. В приня- 
тых здесь обозначениях 


—9-—1) (1—2? 
С ИИ бух), 29-2. (8.70) 


2 
1-— Ку.х (р) 


4. Средний квадрат ошибки предсказания СКОП. Этот 
критерий предлагается в [24] (см. также [164, 42, 52]). При вве- 
дении этого критерия предполагается, что переменные (у, х(), 
.... Х(Р)) являются случайными величинами и имеют в совокуп- 
ности (р -[ 1) -мерное распределение. Таким образом, мат- 
рица данных (Х, У) представляет собой выборку объема п из 
(р - -мерного нормального распределения. 


Пусть теперь и‹а) (Х) = у -+ ©9’(4) (Х(9—Х (9)) — функция 
регрессии, основанная на 9 ИЗ р ВОЗМОЖНЫХ предсказыва- 


ющих переменных, и © (9) — мнк-оценка вектора регресси- 


онных коэффициентов для набора из 4 переменных, Х (9)— 
4-мерный вектор средних значений для переменных х“), 
принадлежащих набору Х (4). Пусть теперь уравнение рег- 
рессии используется для предсказания значения переменной 
у для некоторого нового случайного вектора Х*. 

Величина СКОП определяется как 


СКОПи = Е (у) (Х*)— у*}, 


где математическое ожидание берется по всем случайным пере- 
менным, в том числе и по «новому» наблюдению Х*. Если ис- 
пользовать понятия обучающей и контрольной выборки, то 
можно... сказать, что СКОП определяет среднюю квадратичес- 
кую ошибку прогноза на контрольной выборке. 
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В [251] показано, что 
СКОП\ц, = К (п, 9) бу.х (а), 


ге К (п, 9) = (1* —п— 2) (п — 9—2), пъа-т2 
И 0,.х(4) — условная дисперсия у относительно 4 переменных, 
входящих в уравнение регрессии. При применении этого кри- 
терия неизвестное значение дисперсии о; ха) заменяетсЯ ее 
оценкой максимального правдоподобия: 


``. р У 
бу.Х (а) = (П— 1) 5, (1 — Киух (4) /(п—9—1). 
Окончательно используемая как критерий оценка имеет вид 


ип хи). 


СКоП 
КОИ = 9—1 (9—2) 


(8.71) 


5. Несмещенная оценка коэффициента множественной кор- 
реляции. Если переменные (у, х(),..., х(Р)) имеют в совокуп- 
ности многомерное нормальное распределение, то оценка квад- 


рата коэффициента множественной корреляции Ку. ха) явля- 
ется смещенной. Несмещенная оценка (с точностью до членов 
О (1/л?)) определяется с помощью выражения 


— — (9—2) (1—8? хз) 
Ву. х (а) = Ки х а-—— 
п9— 1 
—^ 2 
2("—3) (1 — 8 хи) 


и. (8.72) 
(9—1) (9-3) 


Эта величина также может быть использована как критерий 

качества уравнения регрессии. 
8.7.3. Схемы генерации наборов переменных. Когда критерий 
качества набора предсказывающих переменных фиксирован 
для выбора оптимального или хотя бы «хорошего» набора, не- 
обходимо провести сравнение достаточно большого числа раз- 
личных наборов переменных и выбрать среди них наилучший. 
Рассмотрим некоторые схемы генерации наборов, применяю- 
щиеся в настоящее время. 

Схемы полного перебора («всех возможных регрессий», 
метод «ветвей и границ»). Задачу полного перебора можно 
сформулировать следующим образом: для 9 =1,....р —\1 
найти набор из д предсказывающих переменных с минималь- 
ным значением остаточной суммы квадратов Аха) или, что 
эквивалентно, с максимальным значением коэффициента де- 
терминации КЛу.х(). Так как критерии, приведенные в 
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п. 8.7.2, являются монотонными функциями от Ау. х(а); то 
этот набор будет оптимальным и по любому из них. Число 
различных подмножеств из д переменных, если всего имеется 
р переменных, будет равно С (числу сочетаний по 4 элемен- 


тов из р возможных), а полное число наборов при изменении 
дот 1 дор будет 22. Ясно, что это число очень быстро растет 
с ростом р. Так, при р = 20 оно будет примерно 10°, а при 
р = 30 — 10°. Все же на современных ЭВМ возможна реали- 
зация полного перебора для значений р порядка 15. 

В связи с необходимостью просмотра большого числа 
регрессионных моделей особенно важное значение приобрета- 
ет использование экономных (в смысле количества машинных 
операций) методов расчета значений критерия и коэффициен- 
тов для соответствующих регрессионных моделей. Поэтому 
процедура генерации последовательности наборов перемен- 
ных должна удовлетворять двум требованиям. Во-первых, 
переход от набора к набору должен осуществляться путем 
добавления или отбрасывания только одной переменной, что 
позволяет использовать экономные схемы пересчета значений 
критерия (см. п. 8.7.4) вместо полного решения соответствую- 
щей новой задачи регрессии. Среднее число операций для 
прямого расчета регрессии с 4 переменными имеет порядок 43, 
а формулы пересчета уменьшают среднее число операций до 
порядка 07. 

В [189] предложена еще более эффективная процедура пе- 
ресчета, позволяющая сократить число операций до порядка 
д, если требуется вычисление коэффициентов регрессии, и 6, 
если вычисляется только величина Ау х(а). При этом, одна- 
ко, требуется дополнительная память для размещения р ма- 
триц размера р Х р. 

Второе требование состоит в том, чтобы любой набор гене- 
рировался только один раз. Описания процедур генерации, 
удовлетворяющих этим требованиям, приведены в [189, 191, 
248]. Если в качестве основного лимитирующего фактора 
принять время вычислений, то наилучшим из алгоритмов 
полного перебора в настоящее время следует признать алго- 
ритм Феёрнивала, предложенный в [189]. 

Объем вычислений при прямом переборе с ростом р растет 
настолько быстро, что уже при р < 20 превышает реальные 
возможности большинства ЭВМ. Выход из положения ищут 
с помощью методов ветвей и границ. Смысл этого метода за- 
ключается во введении какого-либо грубого правила, кото- 
рое позволяет отбросить большинство наборов, не вычисляя 
для них значения критерия в силу их бесперспективности. 
Такое правило может быть ‘' основано на неравенстве 
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В. хл)—>Ю?. хив), ГДе Х (А) — любой набор предсказываю 
щих переменных, а Х (В) — его подмножество. Другими сло- 
вами, при исключении из регрессии каких-либо переменных 


значение Ю?.х(л) может только убывать. Пусть теперь мы 
знаем некоторую оценку снизу А; для оптимального значения 


Ю*. ха). Если для какого-либо набора Х (]) Ю;. хи) < Ки 
] >4, то, очевидно, все поднаборы размерности 4, получен- 
ные из Х (]), являются бесперспективными и могут не рас- 
сматриваться. 

Использование методов ветвей и границ позволяет рас- 

сматривать задачи с р < 50—70. Наиболее эффективной яв- 
ляется реализация алгоритма, предложенная в работе Фер- 
нивала [190]. Подробное описание одного из алгоритмов, 
реализующего метод «ветвей и границ», — алгоритма Хокин- 
га— Лесли [206] на русском языке приведено в [79]. 
8.7.4. Пошаговые процедуры генерации наборов. Существен- 
ного сокращения числа генерируемых для сравнения наборов 
предсказывающих переменных можно добиться с помощью 
пошаговых (5ТЕР—\/1$Е) процедур отбора переменных. 
Хотя ни одна из пошаговых процедур не гарантирует получе- 
ния оптимального по заданному критерию набора переменных 
(соответствующие примеры приведены, например, в 1226, 
205, 79]), все же обычно получаемые с их помощью наборы 
переменных являются достаточно хорошими для практичес- 
кого применения. Кроме того, возможны простые модифика- 
ции традиционных пошаговых схем, которые позволяют прео- 
долеть ряд присущих им недостатков. 

Основными пошаговыми процедурами генерации наборов 
являются процедура последовательного присоединения, про- 
цедура присоединения-удаления и процедура последовательного 
удаления. 

Рассмотрим один из возможных способов организации вы- 
числений в пошаговой процедуре последовательного присое- 
динения. 

На первом шаге из исходного набора предсказывающих пе- 
ременных Х (р) = (х(›,..., х{?)) выбирается переменная хо), 


имеющая максимальное значение квадрата коэффициента пар- 
ной корреляции с ру, т. е. 


. 2 
|1 = агя тах Гук ()- 
| < А<Р 


Признак х(/) составляет информативный набор предска-. 
зывающих переменных Х (1). Применяя теперь к матрице А 
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прямой оператор симметричного выметания №, (см. п. 8.7.5), 
получим матрицу А, и переходим ко второму шагу. 

Второй шаг состоит в следующем. Пусть уже построен 
информативный набор из 4 предсказывающих переменных 
Х (49) = (хо, ..., Ха); пусть А. — матрица, полученная из 
исходной матрицы А путем применения оператора выметания 
по переменным из Х (9). Ищем переменную х(/4-+!), имеющую 
максимальное значение квадрата коэффициента частной кор- 
реляции с у при фиксированных переменных из Х (4): 


аа = агб тах 


(а (Х (4) 
(1=1, р, х(®) 6х (4)) 


При этом как кандидаты на присоединение к набору Х(9) 
используются лишь переменные, для которых вычисляется 
условие (см. п. 8.7.5) 1 — К,%).хца) >> "пор. Если таких пере- 
менных не окажется, то работа алгоритма (отбор переменных) 
прекращается. 

Отбор переменной х1а-+1) из условия максимума квадрата 
частного коэффициента корреляции эквивалентен ее выбору 
из условия максимума коэффициента множественной корре- 
ляции между у и набором Х (4 + 1) =Х (9) ® х'ч+0), так 
как имеет место тождество (см., например, [24, п. 3.2.4]) 


5 _ __ __ а , 
1— Киухачо = (1 — ух (4) (11 — (а) ха * 


После определения переменной х'/'а+1) проверяется условие 
остановки процедуры отбора. 

Основные из используемых условий остановки следующие: 

а) процедура останавливается, если отобрано заданное 
пользователем количество переменных К, т. е. если 9 + | = 
— Ё. При этом переменная х'/ч+1 присоединяется к набору 
Х (9), а к матрице А’. применяется оператор выметания по 
переменной х''а+0); 


— —м 
® з раызыыя 2 ; 
6) проверяется гипотеза Н. : Гана == ГухЧа+1) (ха) = 0 
для чего вычисляется значение Р-статистики 


э 


Руа == (п— 9—2) 72 ДЕ 7). 


Если величина Ро+: < ЁРькл, ГДе Ё»к„ — некоторая зара- 
нее заданная величина, то переменная х(79+) не присоединя- 


ется к набору Х (4), который и считается результатом работы 
алгоритма. 
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Используемая статистика РЁ. формально совпадает со 
статистикой для проверки значимости соответствующего рег- 
рессионного коэффициента в обычной задаче регрессии. Поэ- 
тому в качестве значения для Р,‚„, как правило, выбирают 
классические уровни Значимости (5, 10, 15%), соответствую- 
щие ЁР-распределению с | и (п — 9 — 2) степенями свободы. 
Однако величина Ёо-. В пошаговой процедуре на самом деле 
не подчиняется Р-распределению с соответствующим числом 
степеней свободы, поскольку проверяется гипотеза о равенст- 
ве нулю максимального по абсолютной величине коэффициен- 
та частной корреляции из р’ —. д коэффициентов частной кор- 
реляции для переменных, не входящих в Х (9). Неизвестно 
поэтому, какому уровню значимости соответствует выбранное 
значение; 

в) процедура останавливается, если достигнуто макси- 
мальное (минимальное) значение критерия качества набора 
переменных. Пусть Ка —— гекущее значение какого-либо из 
критериев п. 8.7.2. Тогда процедура останавливается, если 
выполняются условия Ко < Ка-.: для критериев (8.69), (8.72) 
или Ка > Ка+1 Для критериев (8.70), (8.71). Результирующим 
считается набор Х (49). 

Можно показать, что правило остановки по текущему зна- 
чению критерия эквивалентно правилу остановки по значению 
Е-статистики при некоторой величине Р,„л. О других спосо- 
бах использования критериев в правилах остановки см. в 
[164]. 

Если условие остановки не выполняется, то к матрице 
А. применяется оператор прямого выметания по переменной 


х (14+, и путем включения в Х (4) переменной х(!а+1) форми- 
руется новый текущий информативный набор Х (4 - 1). За- 
тем второй шаг повторяется для набора Х (9-1). 


Пошаговая процедура последовательного присоединения- 
удаления переменных (обычно именуемая в литературе просто 
как процедура последовательного присоединения) была впер- 
вые предложена в [180]. Приводимое ниже описание процеду- 
ры имеет некоторые отличия от исходной процедуры Эфро- 
имсона. Формирование информативного набора переменных 
в этой процедуре организовано следующим образом. 

Первый шаг совпадает с первым шагом процедуры после- 
довательного присоединения. 

На втором шаге, начиная с 4 = 3, перед поиском присое- 


диняемой переменной х('9+1) добавляется подшаг поиска пере- 
‘менной х(, которую целесообразно удалить из текущего на- 
бора Х (4). Для этого определяется переменная х(7ЕХ (9, 
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удаление которой приводит к минимальному уменьшению 
коэффициента детерминации, т. е. 


. о то 
[= аго пип  (Юу.х (а) — Ку-Х_ (а—1)), 
х(®) ЕХ (9) 


где Х-» (4 — 1) — набор Х (4) с удаленной переменной х“®. 
После определения номера / целесообразность удаления пе- 
ременной х() обычно проверяется на основе сравнения 
Е-статистики для проверки гипотезы Но : Ку. ха) = Ку х_ца-1) 


или эквивалентной ей гипотезы о коэффициенте частной кор- 


реляции Ну: хх ца) > О снекоторым заранее заданным 


пороговым значением Риз. Обычно выбирают значение 
Еискл >> вкл (Так чтобы исключить переменные из набора 
было труднее, чем добавлять) соответственно 2%-, 1%-, 0,5% - 
ному уровням значимости при Р-распределении с | и (п—9—2) 
степенями свободы. На самом деле по тем же причинам, что 
и при присоединении переменных, величина Ё-статистики 
при удалении переменных не подчиняется Р-распределению, 
и точный уровень значимости неизвестен. 

Другой способ определения целесообразности удаления 
переменной х(!) основан на проверке «улучшения» качества 
набора по какому-либо из критериев качества п. 8.7.2. 

Если качество набора «улучшается», то переменная уда- 
ляется. При удалении переменной х() из Х (4) к матрице Аз 
применяется оператор обратного выметания (;. После фазы 
удаления переменной проводится фаза расширения набора 
(Х (4), если не было удаления, и Х 1 (4 — 1), если была уда- 
лена переменная х()), точно так же, как и в процедуре после- 
довательного присоединения. Остановка процедуры присое- 
динения-удаления проводится по тем же правилам, что и ос- 
тановка процедуры последовательного присоединения. 

Пошаговая процедура последовательного удаления (исклю- 
чения). Перед началом работы процедуры необходимо по- 
лучить матрицу Ар. Именно она теперь является той исходной 
матрицей, к которой применяется последовательность опера- 
торов выметания ,, И»,. Для этого необходимо вычислить 


Вх', 9 (Х(р)) = ЭОи Ку. хр). 
Первый шае процедуры последовательного удаления сос- 


тоит в определении такой переменной х(:), удаление которой 
из исходного набора Х (р) приводит к минимальному увели- 


чению остаточной суммы квадратов А„ или, что эквивалентно, 
к минимальному уменьшению коэффициента детерминации. 
Величина изменения коэффициента детерминации проверяется 
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на значимость таким же образом, как и в фазе удаления про- 
цедуры последовательного присоединения (4 при этом заме- 
няется на р). Можно также проверять «улучшение» качества 
набора по какому-либо из критериев. Если значение Р-ста- 
тистики превышает значение Р\з.„ или если произошло 
«улучшение» качества набора переменных, то формируется 
набор Х (р — 1!) с удаленной переменной х(), а к матрице 
А’ применяется оператор обратного выметания Ц... 
Второй шаг состоит в следующем. Пусть Х (9) — текущий 
информативный набор, полученный в результате удаления 
(р — 9) переменных, и Аз — матрица, полученная из А рпри- 
менением к ней (р — 9) операторов обратного выметания. 


В наборе Х (4) ищем переменную х(14), удаление которой из 
Х (9) приводит к минимальному уменьшению коэффициента 
множественной детерминации. Затем проверяется условие 
остановки. Могут быть использованы следующие условия 
остановки: 


а) получение набора с заданным количеством Е предиктор- 
ных переменных, т. е. проверяется условие Е = 9 — 1; 

6) превышение порогового значения Ё,„„ величиной 
Е-статистики для проверки гипотезы Ну : Ю?. ха) = Ю. ха; 

в) отсутствие «улучшения» качества набора по какому-либо 
из критериев п. 8.7.2. 

По поводу других правил остановки см. [24, п. 3.3.2]. 

Если выполняются условия остановки 6) и в), информа- 
тивным набором при выходе из процедуры считается набор 
Х (4), а при выполнении условия а) выходным будет набор 
Х (94 — 1), получаемый из Х (9) удалением переменной ха), 
и к матрице А. применяется оператор И». 

Если остановки процедуры не происходит, то текущим ин- 
формативным набором становится набор Х (49 — 1), к матрице 
А. применяется оператор выметания И; . После этого второй 
шаг повторяется в применении к набору Х (9 — 1). 

Рассмотрим теперь один экономичный по количеству вы- 
числений способ определения удаляемой переменной х(). Он 
может быть использован и в фазе удаления переменной для 
процедуры присоединения-удаления. 

— 


Пусть 6; (Х (9)) ( = 1, 9) — оценка коэффициента урав- 
нения регрессии у для переменной х#}ЕХ (а). Эти коэффи- 
циенты являются соответствующими элементами матрицы Ау, 
и, следовательно, проводить дополнительных вычислений не 
нужно. Предлагаемый метод расчета основан на следующем 


равенстве. Если из набора Х (9) удаляется переменная х“*), 
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ТО 


—^ — 


о 2 з Я АРАЛЬ, 
АК}: = Кух (а) — Ку.х_ к (а- 1) = 9 /а к 


где а®/* — элемент обратной матрицы корреляции для пере- 
менной из Х (9); Х_, (9 — Г!) — набор переменных, получен- 


ный из Х (9) при удалении х(®. Значение величины а@/*/® 
также может быть извлечено из матрицы А.. Напомним, что: 
рассматриваемое равенство относится к нормированным пе- 
ременным. Переменная, подлежащая удалению, определяется 
как 


х (1) = аге пип АК;. 
«ВЕХ (4) 


8.7.5. Оператор симметричного выметания. С вычислительной 
точки зрения пошаговые процедуры последовательного при- 
соединения и присоединения-удаления удобно реализовать как. 
последовательность операций выметания, примененных к ис- 
ходной расширенной корреляционной матрице А размера 
(р |) (р- 1), которую можно представить в виде сле- 
дующей блочной матрицы 


А — | Гих | 
РУХ | 

где Вх — матрица коэффициентов корреляции между предска- 
зывающими переменными порядка р Хр; г,х — р-мерный 
вектор коэффициентов корреляции независимой переменной 
у с предсказывающими переменными. Таким образом, при 
отборе переменных мы факткчески переходим к нормирован- 
ным предсказывающим переменным и 9. 

Рассматриваемый ниже оператор симметричного вымета- 
ния предложен в [162, 191, 119 п. 12.2]. Будем различать опе- 
ратор прямого выметания , по переменной х (*) (это соответ- 
ствует расширению текущего набора за счет включения пере- 
менной х(®)) и оператор обратного выметания И», по перемен- 
ной х(*) (что соответствует удалению переменной х“® из те- 
кущего набора). Действие оператора выметания на матрицу 
А состоит в пересчете ее элементов по одной из следующих 
схем: 

для оператора прямого выметания 


ие: , 
Ч — — 1 /акк; 


НОВ 


№, (А) = Ч = ам = ан две (= 1, Р-- 1; 15); 


НОВ НОВ 


а; =ап =а;; | а}. (11 =1,р-+1; 1] =ЕА); 
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для оператора обратного выметания 


Нов . 
@к& — — 1 /вь; 


О, (А) = ак == ав = —атав (1=1, р 1; 15 А); 
ЯОВ Н НОВ . 
а = а = ау — ана)” (Е, = БР). 


Операторы выметания №,, ИЦ» обладают следующими важ- 
ными свойствами: 
а) обратимость 


У, (Ц, (А)) = Ц, (Й, (А)) = А 


6) коммутативность 
У, (7, (А)) = И, (Й, (А); 
Ик (ЦА)) = ИКИ, (А). 


Эти свойства легко интерпретируются в терминах включе- 
ния и исключения переменных х(® и х() в текущий набор; 

в) оба оператора сохраняют симметрию матрицы А. Бла- 
годаря свойству в) при вычислениях необходимо использовать 
только верхний треугольник матрицы А, что позволяет вдвое 
сократить необходимую память и объем вычислений. 

Предположим, что в результате работы какой-либо про- 
цедуры отбора получен информативный набор Х (4) из 4 пред- 
сказывающих переменных и при этом применялся пересчет 
элементов матрицы А с помощью соответствующей последо- 
вательности операторов выметания Й,, (,„. Для упрощения 
обозначений будем считать, что в набор Х (49) включены д пер- 
вых переменных х(), ..., х(4) (этого всегда можно добиться 
перенумерацией переменных из Х). Тогда результирующая 
матрица А. будет иметь следующую структуру: 


— 


[ 
{ 

Ау = —В(Х@)) С х(р—4) (Хх (4)) 1 Сухф-9 (ха) |, 
[ 


— 


где Вх) — матрица размера 4 Х 9, обратная к матрице кор- 
реляций переменных из Х (4); Схо-—а)( ха)» — матрица раз- 
мера (р — а) Х (р — а) частных ковариаций нормированных 
переменных Х (р — 4) = (х91Т'), ..., х)), не включенных в 
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информативный набор; В (Х (4)) — матрица размера 9х 
х (р— 9), компоненты 1-го столбца которой представляют 
собой коэффициенты регрессии нормированной переменной 
х9-П0ЕХ (р — 9) на нормированные переменные из Х (4); 


.— 


9 (Х (4)) — 9-мерный вектор коэффициентов регрессии нор- 
мированной переменной у на нормированные переменные из 


Х (9); Сухф—а) а» — Ф — 9-мерный вектор частных коэф- 
фициентов ковариаций нормированных переменных из 
Х р—9 су; КЮ,. ха) — квадрат коэффициента множествен- 


ной корреляции между переменной у и предсказывающими 
переменными из Х (49). 

Таким образом, матрица А. содержит полное решение за- 
дачи регрессии независимой переменной у на переменные из 
Х (9) за исключением значения свободного члена. Из нее также 
легко извлечь частные коэффициенты корреляции переменных 
ух (Ч (ха) © Я, необходимые для продолжения пошаговых 


процедур. Именно 


г 
их (ау 


_—_ (8) РОУ ини “Сани 
2 Сух (р—9) ха /(У 1—Су (р—а) (Х (а)) и | — Ку. Х (9) ), 


где Ср жа) — {-Й элемент вектора частных ковариаций; 
Схр—а(ха) — Диагональный элемент (остаточная дисперсия 
нормированной переменной х9+7) матрицы частных ковариа- 
ций Схр—ч)(х«а))- 


Зная значение Юу.х(а), легко вычислить и значения кри- 
териев качества уравнения регрессии, приведенных в п. 8.7.2. 

Диагональные элементы матрицы частных ковариаций 
Сх(р—а)(х(а)) Представляют собой остаточные дисперсии норми- 
рованных переменных х“Ч+О ЕХ (р — 9) относительно пере- 
менных из ЛХ (4) и могут быть записаны в виде 


и о , 
т; = СХ (ра) (Х (а)) = | — Кано. х (а) 


В условиях мультиколлинеарности значения К\(4+/). х‹а) 


для некоторых переменных х“4+) могут быть очень близки 
к |. При попытке добавить такую переменную в информатив- 
ный набор необходимо использовать величину, обратиую к 
т; что при чрезмерной малости последней может привести к 
вычислительным трудностям. Поэтому целесообразно ввести 
пороговое значение, которое запретило бы использовать пере- 
менную х\О, если соответствующее зяачение т; будет мень- 
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ше порогового, т. е. если выполнится неравенство т; < тнор, 
то переменная х(9+7) не будет использоваться для расширения 
набора Х (4). Если же это неравенство выполняется для всех 
переменных из Х (р — 4), то отбор переменных следует счи- 
тать оконченным. 

8.7.6. Методические аспекты использования процедур отбора 
существенных предикторных переменных. Когда число потен- 
циальных переменных велико, формальное применение любой 
из рассмотренных процедур отбора может привести к неудов- 
летворительному с содержательной точки зрения набору пре- 
дикторных переменных. 

Рассмотрим некоторые методические приемы, позволяющие 
увеличить эффективность применения пошаговых процедур 
отбора. 

1. Повторное применение процедур отбора с принудитель- 
но включаемыми переменными (ПВП). Возможность принуди- 
тельного (обязательного) включения переменных в выходной 
набор Х (49) достигается достаточно простой модификацией 
описанных пошаговых процедур, а также методов «всех рег- 
рессий» и «ветвей и границ». 

При использовании ПВП в процедурах последовательного 
присоединения и присоединения-удаления формирование вы- 
ходного информативного набора происходит путем расшире- 
ния начального набора, состоящего из ПВП, а для процедуры 
последовательного удаления переменная, удаляемая на ка- 
ком-либо шаге, не должна входить в число ПВП. 

Если имеется возможность использовать ПВП, целесооб- 
разно провести, помимо автоматизированного отбора, также 
и несколько вариантов отбора с различными ПВП. Оконча- 
тельный набор получится в результате сравнения найденных 
наборов. Состав ПВИ определяется, например, из эксперт- 
ных соображений. Другой возможный подход к формирова- 
нию ПВП основан на анализе графика какого-либо из крите- 
риев качества набора, выводимого при работе пошаговых про- 
цедур. С этой целью отбор переменных целесообразно прово- 
дить по возможности до исчерпания всего исходного множест- 
ва потенциальных переменных с одновременным выводом на 
каждом шаге значений коэффициентов детерминации и крите- 
риев качества набора. Такой режим легко осуществить, если 
в процедуре предусмотрено условие остановки по достижении 
определенного числа К переменных в выходном наборе. Тог- 
да, например, для процедур прямого присоединения и присое- 
динения-удаления достаточно положить К = р. В случае ус- 
ловия остановки, управляемого величиной Р,„л, увеличения 
числа отбираемых переменных можно добиться, уменьшая 
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значение ЁР,„л, полагая его равным 20% или даже 30% уров- 
ню значимости. 

На рис. 8.1 приведены два графика критерия качества на- 
бора для процедуры последовательного присоединения (зна- 
чения критерия качества определены лишь в целых точках, 
однако для наглядности они соединены линией). Кривая | 
отражает случай, наиболее часто возникающий при отборе 
переменных: сначала монотонное возрастание величины кри- 
терия качества, а затем ее монотонное убывание. Набор, со- 


СУ 


числе ПЕРЕМЕННЫХ 
8 ипдоре 


2,94 в 7 В 9 Г 


Рис. 8.1. Варианты зависимости несмещенной оценки коэффи- 


циента множественной корреляции (Ю,.х(4)} от количества 


переменных для пошаговой процедуры последовательного 
присоединения 


ответствующий точке максимума, или какой-либо набор в 
ближайшей (плюс—минус одна-две переменные) его окрест- 
ности, является искомым информативным набором. Кривая 
П] представляет потенциально более интересный случай от- 
бора: после достижения локального минимума кривая вновь 
начинает возрастать, и величина критерия качества даже пре- 
восходит первый максимум. В этом случае целесообразно ис- 
следовать следующие вопросы: 

добавление какой переменной изменило ход графика? 

пусть это переменная х(Р, тогда сочетание каких пере- 
менных из Хр (/ — 1) их привело к скачку критерия ка- 


чества? В первую очередь подозрительна переменная х“Й-, 
Затем необходимо провести отбор переменных с принудитель- 
ным включением переменных хЧЙ, х(1-1 и других переменных, 


обусловивших изменение хода графика (такой отбор может 
также использоваться и для получения ответа на второй во- 
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прос, если, кроме х(1-1, в изменении хода графика «виновны» 
еще и другие переменные из Хр (1 — 1)). 


2. Экспертное упорядочение переменных по степени их 
информативности. Для успешного применения процедур от- 
бора, в особенности когда переменных много, важную роль 
играет априорная (экспертная) оценка значимости потенци- 
альных переменных для рассматриваемой задачи [2, 3, 93]. 
Например, источником для такой априорной оценки могут 
быть, во-первых, содержательные соображения об исследуе- 
мом явлении и, во-вторых, задачи-аналоги, с которыми уже 
имел дело исследователь. Во всяком случае полезно разделить 
имеющиеся переменные на три группы (193, гл. 15]: 
1) ключевые—-переменные, о которых известно, что они оказы- 
вают существенное влияние на зависимую переменную ци; все 
или некоторые из этих переменных могут быть по требованию 
исследователя включены в выходной набор в принудительном 
порядке; 2) потенциально информативные — переменные, 
возможность влияния которых на зависимую переменную у 
представляется достаточно обоснованной; 3) «шумовые» — пе- 
ременные, влияние которых на переменную представляет- 
ся маловероятным. 

После сортировки переменных отбор производится сле- 
дующим образом. 

На первом этапе задача регрессии решается в пространстве 
ключевых переменных. Проводится анализ точности и адек- 
ватности соответствующей линейной модели (см. гл. 11). Если 
не все из ключевых переменных необходимо в принудитель- 
ном порядке включить в итоговую модель, то можно попытать- 
ся сократить их число, применяя тот или иной пошаговый 
алгоритм. При этом переменные, не вошедшие в информатив- 
ный набор, переводятся в группу потенциально информатив- 
ных переменных. 

Второй этап проводится, если качество регрессионного 
уравнения, оцененного на первом этапе, является неудовлет- 
ворительным. На этом этапе осуществляется отбор перемен- 
ных из множества, полученного объединением ключевых и 
потенциально информативных переменных. Переменные, 
отобранные на первом этапе, включаются в выходной набор в 
обязательном порядке. Переменные, не вошедшие в информа- 
тивный набор на втором этапе, переводятся в группу «шумо- 
вых». Если первые два этапа не привели к удовлетворитель- 
ному результату, проводится отбор среди «шумовых» пере- 
менных с принудительным включением переменных, отобран- 
ных на первом и втором этапах. 
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ВЫВОДЫ 


1. При практическом применении мнк-оценок исследователь 
часто сталкивается с явлением мультиколлинеарности, когда 
объясняющие переменные сильно коррелированы, т. е. су- 
ществуют выраженные, хотя и неточные, линейные связи меж- 
ду несколькими или всеми объясняющими переменными. 
В этой ситуации точность обычных мнк-оценок резко падает: 
ошибки некоторых параметров уравнения регрессии становят- 
ся очень большими, эти ошибки сильно скоррелированы, вы- 
борочные дисперсии резко возрастают. Резко сокращаются 
возможности интерпретации уравнения регрессии. Степень 
мультиколлинеарности измеряется либо обратной величиной 
минимального собственного числа нормированной (корреля- 
ционной) матрицы, либо числом обусловленности, равным от- 
ношению максимального собственного числа к минимальному. 
Если минимальное собственное число равно нулю, то степень 
мультиколлинеарности и число обусловленности являются 
бесконечно большими, и мы имеем дело с точной мультикол- 
линеарностью или вырожденной системой линейных уравнений. 
2. Оценивание параметров уравнения регрессии в случае 
сильной мультиколлинеарности основано на различных ме- 
тодах регуляризации задачи — модификациях регрессии на 
главные компоненты, гребневых и редуцированных оценках. 
Со статистической точки зрения получаемые оценки являются, 
в отличие от мнк-оценок, смещенными. Однако они обладают 
рядом оптимальных свойств, в частности обеспечивают лучшие 
прогностические свойства оцененного уравнения регрессии 
на объектах, не вошедших в обучающую выборку. 

3. Одним из методов получения оценок параметров уравнения 
регрессии при мультиколлинеарности является отбор сущест- 
венных (информативных) объясняющих переменных. Сущест- 
вует ряд мер качества набора переменных, которые исполь- 
зуются алгоритмами отбора. Все они являются функциями от 
коэффициента детерминации, объема выборки и количества 
переменных, входящих в набор. В отличие от коэффициента 
детерминации, который не может уменьшаться при расшире- 
нии набора объясняющих переменных, меры качества, исполь- 
зуемые при отборе переменных, могут при этом убывать. 

4. Алгоритмы отбора переменных отличаются используемым 
критерием качества набора и способом генерации наборов пе- 
ременных для их сравнения. Из схем генерации удобными с 
вычислительной точки зрения являются пошаговые схемы — 
простого добавления, простого удаления, добавления с уда- 
лением и схемы выметения. В настоящее время в связи с рос- 
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том возможностей ЭВМ получают распространение и схемы 
прямого перебора, и различные его оптимизации на основе ме- 
тода ветвей и границ. Пошаговые схемы хотя и не гарантиру- 
ют получения оптимального по выбранному критерию набора, 
однако позволяют обычно получить наборы, вполне удовлет- 
ворительные для практического применения. 


Глава 9. ВЫЧИСЛИТЕЛЬНЫЕ АСПЕКТЫ 
МЕТОДА НАИМЕНЬШИХ КВАДРАТОВ 


9.1. Итерационные методы поиска оценок 
метода наименьших квадратов (мнк-оценок) 


9.1.1. Введение. Гл. 7, 8, 10 и 11 втой или иной мере посвяще- 
ны изучению статистических свойств оценок, порождаемых 
регрессионными моделями. В них рассмотрены такие вопросы, 
как состоятельность, несмещенность, эффективность и т. п. 
В настоящей главе все внимание уделено численным процеду- 
рам отыскания оценок. Для отыскания большинства оценок 
(см. гл. 5, 7) приходится решать экстремальные задачи вида 


0+ = аге пит У [У —Е (ХЕ ФГ МУК 0). (9.1) 
9еЕГ =1 


Обычно на подобные задачи ссылаются как на задачи взве- 
шенного метода наименьших квадратов. В дальнейшем (9.1) 


будет именоваться задачей мнк и рассматриваться лишь слу- 
чай одномерного отклика. 


Итак, ближайшая цель — изложение численных методов 
решения экстремальной задачи 


9* — аго пт У в, (и: —Е(Хи 9). (9.2) 
9ЕГ [=] 


Для некоторого упрощения записей там, где это не вызовет 
разночтений, вместо }(Х;; 9) будет использоваться запись 


Г: (9). 
Можно рассматривать (9.2) как задачу нелинейного про- 
граммирования: 


9+ -- ага пит У (9), (9.3) 
9ЕГ 


где / (9) = Хш,; (у; — # (9)). Многочисленные стандартные 
=] 
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алгоритмы и программы для решения задач нелинейного про- 
граммирования имеются в математическом обеспечении прак- 
тически любой современной ЭВМ (см. гл. 15). 

Особенности использования общих алгоритмов миними- 
зации в статистических задачах неоднократно обсуждались в 
литературе (см., например, [172], эта работа содержит об- 
ширную библиографию; 1145, 146, 135, 43]). Вообще говоря, 
любой из этих алгоритмов пригоден для решения (9.3), однако 
имеются веские аргументы для развития специальных алго- 
ритмов и программ решения экстремальных задач, связанных 
с анализом данных регрессионных экспериментов. 

Во-первых, учет структуры функции У (9) позволяет 
отобрать алгоритмы, работающие наиболее эффективно 
именно при решении задач типа (9.2). 

Во-вторых, решение экстремальной задачи (9.2) или (9.3) 
составляет примерно лишь половину от общего объема вычис- 
лительной работы, которую необходимо проделать при рег- 
рессионном анализе. Действительно, сами оценки, т. е. числа 


— 
О*, содержат не так уж много информации для исследователя. 
Необходимо знать ковариационные матрицы оценок или их 
оценки, доверительные интервалы для неизвестного значения 
результирующего показателя (отклика), ряд величин, харак- 
теризующих адекватность регрессионной модели ит. д. (см. 
гл. 11). В вычислительном плане крайне удобно, когда упомя- 
нутая числовая информация подсчитывается как «побочная» 
при отыскании самих оценок. Именно алгоритмам, обладаю- 
щим такими свойствами, отдается предпочтение при создании 
программ по регрессионному анализу. 
9.1.2. Алгоритмы квазиградиентного типа. Предположим, что 
область допустимых значений параметров Г совпадает со всем 
евклидовым пространством Ю”" (т — число неизвестных па- 
раметров, т. е. размерность вектора ©). 

Наибольшее распространение в настоящее время получи- 
ли алгоритмы итерационного типа 


— 


9... — 6, -- О; б., (9.4) 


где $ — номер итерации; д. — вектор, определяющий направ- 
ление движения на 5-й итерации; р, — длина шага. 

Идея, лежащая в основе этих алгоритмов, очень проста: 
на каждом шаге двигаться в направлении минимума функции 
/ (9). Различные алгоритмы отличаются способом выбора это- 
го направления и правилами выбора длины шага. В данной 
главе обсуждаются лишь алгоритмы, движение в которых осу- 
ществляется в направлении под острым углом к антиградиен- 
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ту—У./ (9) функции. (9) (или 
некоторой ее аппроксимации). 
Такие алгоритмы будут назы- 
ваться в дальнейшем алгорит- 
мами квазнерадиентного типа- 
Напомним, что антигради. 
ент—это направление, проти- 
воположное градиенту, агра- 
диент в точке 9 перпендикуля- 
рен к линии постоянного зна- 
чения функции /9), проходя- 
щей через эту точку (рис. 9.1). 
Полезно иметь в виду, что гра- 
диент определяется часто сле- 
дующим образом: 


9, | 


’ Ул(0) = тах ит ФЕ А® 


Рис. 9.1. Определение направ- е 0 у 
ления градиента 
где ее -= |1. 
Таким образом, градиент в каком-то смысле указывает нап- 
равление локального наискорейшего возрастания функции 
/] (9). Компоненты градиента определяются формулой 


д д д 
У (9) = в 1) = (55 1(6},..-в- (©) | 


Легко проверить, что для функции У (9), соответствующей 
задаче мнк, 


г де 


$ (9) = Уш, (у:—Ё (©) 


1—1 


9{; (9) 
99 | 


По рисунку видно, что в некоторых точках направление, 
указываемое антиградиентом, существенно отличается от на- 


правления, указывающего на точку ©9*. По этой причине мно- 
гие алгоритмы предусматривают движение, вообще говоря, 
отличное от антиградиента. 

Для алгоритмов квазиградиентного типа соотношение (9.4) 
принимает вид: 


9.:1-- 0, о, НХ, (9.5) 
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Вектор У/, либо совпадает с градиентом У. (©,), подсчи- 
танным в точке 9,, либо представляет из себя его некоторую 
аппроксимацию. Матрица Н; — положительно полуопреде- 
ленная матрица, т.е. У/.Н.У/, >> 0, что и гарантирует дви- 
жение под острым углом к антиградиенту. 

В табл. 9.1] представлены выражения для наиболее рас- 
пространенных алгоритмов безусловной минимизации 


Таблица 91 


прогрессия 


Пункт 
= КНИГИ, Где рии скорости 
Е Метод Матрица Н, описан  СОДИМОСтИ 
— способ 
г. выбора 
1 | Градиент- Н; = 9.2.1 |Геометриче- 
ный спуск ская 
прогрессия 
2 Ньютона | я 1-1 9.3.1 |Сверхлиней-- 
о [ $ -|- $] НАЯ (квад- 
ратичная) 
3 | Ньютона — ГМ 9.4.1 Гсометри- 
Гаусса о 5 ческая 
(линеари- прогрессия 
зации) 
4 Вариант | 1 А 0 942 |Геометриче- 
Марквардта | о [М;-- 7; А;]7!, А, > ская 


винных 


сл 
(> 


_ ВУУ’ (9 Н; 9 Сверх- 


5 | Сопряжен- " 
от линейная 


. ] 
ных гради- |'т , 
ентов УЛ’ (9 уу (95) 


9.2. Градиентный спуск 


9.2.1. Описание общей схемы алгоритма. При градиентном спус- 
ке движение осуществляется непосредственно в направлении 
антиградиента, т. е. Н, = Г, (напомним, что [Г„ — единичная 
матрица размерности 71 Х 71). Итерационная процедура та- 
ким образом принимает вид: 


0. — 9. -- 0; У. (5.6) 
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— 
где Из — ра (9.). 
Перечислим несколько возможных способов выбора вели- 
чины шага р.. 


1. 
Обозначим р. = 59 направление минимизации. Сущест- 


вуют два основных способа, приводящих к снижению значения 
/ (9) на каждом шаге и к сходимости итеративного процесса. 


1. Зададимся некоторым 0 << 1. Дроблением шага 
добъемся того, чтобы 


Г(0,.:)—/ (©,) = р: У/(©.). 


Поскольку р;УУ/У (9.) < 0, всегда / (0...) — У (0.) < 0. 
2. Длина шага определяется из условия 


р» = агё тит / (0, Е рр.). (9.7) 
0>0 


При таком выборе шага обычно говорят о «наискорейшем 
спуске». Экстремальная задача (9.7) чаще всего решается с 
помощью квадратичной аппроксимации по р. 

Решение одномерной задачи минимизации вторым способом 
может оказаться чрезвычайно трудоемким. Дело может °ос- 
ложниться тем, что функция / (9) вдоль выбранного направ- 
ления может быть мультимодальной. Поэтому первый способ 
нам кажется более предпочтительным. Описанные способы вы- 
бора шага могут применяться и в других методах минимиза- 
ции (см. $9.3—9.5). 

Сравнение эффективности различных способов выбора дли- 
ны шага применительно к задачам регрессии проведено в [159]. 

Алгоритмы типа (9.6) (см., например, [35, 107, 25]) обес- 
печивают при определенных ограничениях на функцию У (9) 


сходимость последовательности {9,} со скоростью геометри- 
ческой прогрессии 


10, —6+1< Са 98 


В частности, такая скорость сходимости обеспечивается 
так называемой линейной сходимостью, при которой 


|9... —9*|< 910, —@* р 0<9=<1, 


где ||©9, — 9*|| — длина вектора 9, — 9*; С и 9 — констан- 
ты, определяемые видом У (©). 
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Например, если помимо некоторых не очень существенных 
ограничений градиент удовлетворяет условию Липшица: 


| $4 (9)—9/ (0) |< [|0 —6| 


при всех`9, ОЕК", Г, = соп% >>0, и функция // (9) сильно 
выпукла с показателем и; 


/ [о 9 + (1—<) 9] < а (@) + (1—а) / (6) — 
— ва (1—0) (9—6) (0—6) 
при всех ©, 9 ЕЮ ид а 1, то д:=1—и/2[. 


9.2.2. Замечание 0б эффективности алгоритма. Одним из ос- 
новных достоинств градиентного спуска является его простота. 
Однако реальная скорость его сходимости уменьшается при 
приближении ©, к точке 9*. Для функций овражного типа с 
сильно вытянутыми линиями уровня в окрестности 9* эффек- 
тивность методов типа градиентного спуска особенно низка, 
так как обычно для таких функций ц близко к нулю. 

При решении статистических задач с помощью градиентно- 
го спуска приходится на заключительном этапе проводить до- 
полнительные расчеты по отысканию оценок ковариационных 
матриц и прочих величин, описывающих статистические свой- 
ства оценок. 

Обычно градиентный спуск целесообразно применять лишь 
на начальных этапах минимизации, используя найденные в 
результате сравнительно небольшого числа итераций величи- 


ны ©, в качестве начального приближения для более сложных 
методов, обладающих большей скоростью сходимости. 


9.3. Метод Ньютона 


9.3.1. Описание общей схемы метода. Идея метода Ньютона 
(иногда его называют методом Ньютона—Рафсона) заключа- 
ется в квадратичной аппроксимации функции / (9) в окрест- 


ности точки 0. Значения 9... находятся из условия миниму- 
ма аппроксимирующего полинома второй степени и опреде- 
ляются в случае положительной определенности матрицы 


д? (9) 
д9еде’ |е=е, ' 


— 


по формуле 
0... =0,—0:1 у. (©). (9.9) 
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Положительная определенность гессиана @; является су- 
щественным ограничением использования метода Ньютона. 
Вместе с тем, чем ближе начальное приближение к минимуму, 
тем скорее можно ожидать выполнение этого условия. Ведь 


в точке минимума, весьма вероятно, матрица С (9*) положи- 
тельно определена, а из непрерывности © (9) следует, что в 


—^ 
некоторой окрестности ©9* гессиан также будет положительно 
определен. Поэтому наибольший эффект имеет применение 
этого метода в достаточно близкой окрестности решения. 
Иными словами, р, = 1, Н, = С; '. Несложные выкладки 
показывают, что для (9.2) 


С. — 1/2 (М, -|- У,), 


где 
п 
ОЕ. д; (@) 
М == и; Г, Г; ; ее ; 
8 2 ° 00 00’ 5-е. 
‹ д? {; (@) 
У = (и. #. © УФ. ПИЛИ САН 
5 У, (у: —; (9.)) Ф;; Ф,., 56 76’ 


1—1 э=е. 
При линейной параметризации [; (9) = 9’Р (Х;) решение 

= 
9* получается на первом же шаге независимо от выбора 9. 


На практике предпочитают использовать метод Ньютона с 
регулировкой шага 


9. +, — 0, -Н о: (М, -- \.)-* У, (9. 10) 


где р; выбирается, например, в соответствии со способом | из 
предыдущего параграфа или из условия 


о; = агй и У [9, -- о (М, = У,)-* %:]. 
о> 


Процедура (9.10) оказывается более стабильной по срав- 
нению с (9.9), которая особенно чувствительна к выбору на- 
чального приближения ©, и подвержена эффекту «раскачки»х 
при его неудачном выборе. 

9.3.2. Скорость сходимости процедуры. Если дополнительно 
к условиям, сформулированным в конце п. 9.2.1, потребовать, 
—^ — —^щ—м 
чтобы ||С (9) — С (9) < К|® — 9] при всех 6, 0 ЕК", 
то при упомянутых последовательностях {0,} независимо от 


выбора ©, последовательность {9,} сходится к ©9* с квадра- 
тичной скоростью, т. е. 


9. —9*|<С|9,-—9*р, 
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где константа С определяется видом функции // (9) и не зави- 
СИТ ОТ $5. 

При решении практических задач на данное утверждение 
(впрочем, как и на аналогичное утверждение из $ 9.2)-не сле- 
дует особенно полагаться. Дело в том, что проверка условий, 
его сопровождающих, за исключением тривиальных слу- 
чаев, реально невозможна. К тому же большинство из них для 
«экзотических» выборок (маловероятных выборок) заведомо 
не будут выполняться. Тем не менее подобные утверждения 
все же имеют смысл, так как позволяют дать оценку той мак- 
симальной скорости сходимости, которую можно достигнуть 
с помощью данного метода. Данное замечание имеет место для 
всех методов, рассматриваемых в этой главе. 

Одним из наиболее существенных недостатков метода Нью- 


тона является необходимость подсчета производных 1;;5 и Ф,;.. 
Для достаточно сложных функций }; (9) это приводит к 
весьма громоздким вычислениям и заметно усложняет работу 
пользователя, так как приходится составлять специальные 
дополнительные программы по подсчету производных. 


9.4 Метод Ньютона-Гаусса 
и его модификации 


9.4.1. Общая схема метода. Заметно более простым по- срав- 
нению с предыдущим методом является метод Ньютона—Гаус- 
са, в котором матрица Н, = М;*. Практика показывает, что 
именно для регрессионных задач его эффективность такая же, 
как и метода Ньютона. 

К итерационной процедуре Ньютона—Гаусса 


—^ - * 


9.., = 9, -- О; М; * з (9.1 1) 


можно прийти из следующих соображений. Для достатечно 


гладких функций /; (9) в окрестности точки 9, можно пола- 
гаться на простейшую аппроксимацию 


Е (0) =[(0.) +1, (0 —6)). (9.12) 


Полагая и =и; — № (©0.) и 6 =90—60., приходим к 
необходимости минимизации (см. (9.2)) функции 


Уши 1,6): 


1=1 


При исследовании этой задачи в гл. 7 показано, что ми- 


нимум достигается при 9 = М; ' %,. Отсюда следует, что 
я — Э —1 
9* м 9. -- М; м. 


Для линейного случая решение достигается за один шаг. 
При нелинейной параметризации процедура повторяется: 


-— — 


9..1 — 9, + М; ' $. (9.1 3) 


Именно эта процедура и носит название метода Ньютона— 
Гаусса. 

Для рассматриваемой экстремальной задачи метод Нью- 
тона— Гаусса близок методу Ньютона. При линейной парамет- 
ризации они совпадают. Их близость при малых вторых про- 
изводных Ф;, очевидна. Имеется и более глубокая причина 
их близости. Действительно, при п —> со и некоторых не слиш- 
ком ограничительных предположениях в силу закона больших 
чисел имеем следующую сходимость (с вероятностью единица) 


п! У м); (и; — 1; (©.)) Ф;. — Нти-! У №; (Ё; (Эн) —: (9,)) Ф.., 
п 51 


[=1 


где 9, — истинные значения искомых параметров. 

9.4.2. Обсуждение скорости сходимости процедуры. Метод 
Ньютона—Гаусса очень чувствителен к обусловленности 
матриц М,. При плохо обусловленных матрицах М, наблюда- 
ется «раскачка» итерационного процесса, а если он и сходится, 
то его предельные точки меняются с изменением начального 
приближения 9,. Наиболее распространенной причиной пло- 
хой обусловленности матриц М, является неудачный выбор 
режимов наблюдений Х. Поэтому, сталкиваясь с плохо обус- 
ловленными матрицами М,, экспериментатору следует попы- 
таться в первую очередь разобраться в своих опытных данных, 
и, может быть, провести дополнительные наблюдения. Если 
же структура данных не может быть улучшена, то приходится 
обращаться к методам, которые менее чувствительны к виду 
матриц М,. Одним из наиболее широко применяемых является 
метод Марквардта: 


— 


9, =@, р, [М, У. А, р (9.14) 


который может трактоваться как некоторое усовершенствова- 
ние метода Ньютона— Гаусса. 
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В (9.14) %}ф. 20, А; — положительно полуопределенная 
‚матрица. При т, = О реализуется метод Ньютона—Гаусса, 
при у. — < и А, = | направление движения приближается 
к антиградиенту. Выбор р. и 7, в большинстве модификаций 
(9.14) проводится из соображений монотонного убывания 
У (9). 

Матрица А, в большинстве компьютерных реализаций (9.14) 
выбирается диагональной, причем ее элементы совпадают с 
диагональными элементами матрицы М.. 

Полезно иметь в виду следующий факт. Если опираться на 
линейную аппроксимацию (9.12), то при р. = { каждый шаг 
в методе Марквардта может быть истолкован как минимиза- 
ция функции 


п 
У», (и: — &, 0)? --у, 9’ А,. 


1=-1 


Иными словами, в этом методе на каждом шаге проводится 
регуляризация исходной задачи. 

Сходимость метода Ньютона—Гаусса и его модификаций 
изучалась, например, в |109, 200, 237], различные коммен- 
тарии и дополнительную библиографию можно найти в [145, 
146, 25, 431. Скорость сходимости в зависимости от условий, 


нпакладываемых на функции }; (9), К, Ф.,, | и способов выбора 


6., }., А, может быть линейной (И — 9*1 <а0.—© “[. 
сверхлинейной (|9, — 9*1| < а... — 0* |, 4; — 0) или 


квадратичной (||9.., — 9*|| < С1®, — 9*|]). 

9.4.3. Рекомендации -по правилу остановки итерационной 
процедуры. Для регрессионной задачи (9.2) матрица В = 
= М-' (9*) может быть использована в качестве оценки ко- 


вариационной матрицы мнк-оценок. Если Им ©, = 9*, то 


5—0 


итерационная процедура Ньютона—Гаусса наряду с оценка- 


ми ©* поставляет и матрицу О (В = М;-', где 5* — номер 
заключительной итерации). Этот факт позволяет также сфор- 
мулировать простое и естественное правило остановки. Рас- 
четы прекращаются, как только 


— 


(0..:—69.)' М; (9...—0) < (9.15) 
где д — наперед заданная точность. 
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Данное правило более естественно, чем, например, 
правило, используемое в общих программах минимизации. 


(0... — ©.) (0, — 60.) <«. Действительно, точиость на- 
хождения ©9* Целесообразно соизмерять со статистической 
точностью (ее ковариационной матрицей) мнк-оценок. 


9.5. Методы, не использующие 
вычисления производных 


9.5.1. Основные подходы к устранению необходимости вычи- 
сления производных. Как уже отмечалось, существенным не- 
достатком методов, изложенных в предыдущих параграфах, 


является необходимость подсчета производных Т,., а в методе 
Ньютона — и вторых производных Ф;, на каждой итерации. 
При сложных функциях [, (9) это, во-первых, оказывается 
утомительным с программистской точки зрения, а во-вторых, 
приводит к громоздким вычислениям на каждой итерации. 

Возможно несколько способов избавления от необходимости 
подсчета производных: 

использование методов прямого поиска (нулевого поряд- 
ка), таких, как симплекс-метод, метод случайного поиска 
ит п. [185], 

аппроксимация производных конечно-разностными ана- 
логамн, 

специальные методы аппроксимации матриц Н,, У.Л., поз- 
воляющие реализовать итерационные процедуры, близкие по 
эффективности к процедурам Ньютона и Ньютона—Гаусса, 
но с меньшим объемом вычислений. 

Прямые методы минимизации оказались малоэффективны- 
ми для задач регрессионного типа даже по сравнению с гра- 
диентными методами [25]. К тому же после отыскания с их 


помощью экстремальных значений ©9* требуется проведение 
объемистых вычислений по нахождению статистических харак- 
теристик, описывающих качество оценок. 

Конечно-разностная аппроксимация хотя и избавляет пот- 
ребителя от утомительной работы по составлению дополни- 
тельных программ для вычисления производных, но не решает 
проблемы сокращения объема вычислений. Чаще всего она 
приводит к его заметному увеличению. 

Наиболее перспективными и удобными оказались методы 
третьей группы. Они завосвали весьма прочное место во мно- 
гих статистических пакетах (см., например, [1691. 
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9.5.2. Разностные аналоги метода Ньютона — Гаусса. Основ- 
ная идея, на которую опираются методы третьей группы, за: 
ключается в использовании на ($ -{ 1)-й итерации информа- 
ции, полученной на предыдущих $ итерациях, для построения 
разумных аппроксимаций элементов матрицы Н, и компонент 
градиента У... 

При решении регрессионных задач хорошо зарекомендова- 
ли себя методы, являющиеся, по существу, аппроксимация- 
ми метода Ньютона—Гаусса. По-видимому, работа [236] яв- 
ляется в этом направлении пионерской. Упрощенный и непо- 
средственно приспособленный к задачам регрессии алгоритм 
предложен в [242], см. также [169]. Достаточно подробный 
анализ алгоритмов подобного типа и их дальнейшее развитие 
содержатся в |37, 38]. Данную совокупность методов целесо- 
образно назвать методами Ньютона—Гаусса без подсчета про- 
изводных. Как и обычный метод Ньютона—Гаусса (см. 
п. 9.4.2), эти методы опираются на линейную аппроксиманию 


функций /; (9) в окрестности точки ©, : 


Е (0) = (0. + 75 (0—6,). (9.16) 


В отличие от метода Ньютона—Гаусса коэффициенты ух 


не совпадают с производными #., а подсчитываются по зна- 
чениям функции /[; (9,;), полученным по прошлым итераци- 
ям. В принципе величины \;. могут быть подсчитаны самыми 
различными способами, но в программах по регрессионному 
анализу оказывается очень удобным отыскивать их с помощью 
все того же мнк. Определим у;. как решение задачи мнк: 


\у:; — аг5 пи У 0:1 [[; (9,) —7;: (9.) —ъ’ (9, —@УР, 
у —1 
ГДе &«., — веса, описывающие вклад того или иного значения 


Г: (9,). При этом $ значений получены непосредственно из ите- 
рационной процедуры, а выбор остальных 4 значений парамет 
ров 9 будет объяснен позднее. В частности, в алгоритме, пред- 
ложенном в [242], о 54а = фз ==... = ост = 
а остальные веса полагаются нулевыми. 

`Хорошие результаты дает выбор весов вида ®., == 
= ф// (9,1, где ф — убывающая функция, например 
ехр [-—А/ (9,1. 

Можно показать, что 


’ 


у, = 9:'0,,, (9.17) 
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Подставляя теперь в (9.2) приближенное значение функции 
[; (9) = 1; (9,) !- у (9 — 0,) (ср. с $9.4), получим, что 


функция / (9) достигает своего минимума при © — 0, = 
—- М, ' из, 
где 


М. -Уе, р =Уь г: (иг — | ( С ‚)). 


= 


После несложных преобразований приходим к очень удоб- 
ной в вычислительном плане формуле 


9—9, =0, пу ' У И. (и—Р(9.)}, (9.18) 


я 
где т, =% И; Ив 


Итерационная процедура Ньютона—Гаусса, опирающаяся 
(9.18), принимает вид 


9, 1= 0, +6, 9, т; УИ, (и, —Р (©,)} (9.19) 
1—1 


Выбор 0, осуществляется по одному из правил, принимае- 
мых для процедуры Ньютона—Гаусса с переменным шагом. 
Остановимся на некоторых особенностях процедуры (9.19). 
Ее основное достоинство состоит в том, что на каждом шаге до- 
статочно всего одного вычисления функции |}; (9) (естественно, 


при всех { = |, п). Данное свойство оказывается чрезвычайно 
полезным при сложных функциях / (Х;; 9), например, в тех 
случаях, когда эта функция удовлетворяет некоторому диф- 
ференциальному уравнению, допускающему лишь численное 
решение, для получения которого требуются специальные 
объемистые вычисления. 

Процедура (9.19) содержит операцию обращения матрицы, 
от которой можно было бы избавиться, заменив ее обращением 
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с помощью рекуррентных формул. Однако, как правило, тру- 
доемкость этой операции несущественна по сравнению с тру- 
доемкостью подсчета значений функций /; (9). 


В [242] утверждается, что вместо непосредственного обрз- 
щения матрицы т, целесообразно использовать пошаговые 
процедуры, применяемые при отборе существенных факторов 
(см. гл. 8). Подобный прием особенно удобен при функциях 
/ (9) «овражного» типа (матрица т, плохо обусловлена). 


Для определения \„ требуется подсчет функций /; (9) по 
крайней мере в (т -- 1)-й точке ©9,. На последующих итера- 
циях достаточно проведения подсчета функций }; (9) лишь 
в одной точке 9,. Однако при плохо обусловленных матрицах 
т, рекомендуется использовать в (9.17) дополнительные зна- 
чения функций, подсчитанные в точках ©,,, ..., о. Таким 

. $ 
образом, упоминавшееся ранее 4 равно УК,. Дополнительные 
1 


точки рекомендуется располагать на направлениях, ортого- 
нальных к направлению, определяемому (9.17). 


При линейной параметризации метод Ньютона—Гаусса 
без подсчета производных дает точное решение задачи мнк 
на первой итерации, если р, = 1. 

На наш взгляд, выигрыш в объеме вычислений при пере- 
ходе от итерационной процедуры (9.18) к более сложным про- 
цедурам весьма сомнителен ввиду резкого увеличения слож- 
ности расчетов на каждой итерации. 

9.5.3. Некоторые замечания о выборе длины шага. Один из 
главных недостатков изложенного ‘метода состоит в следую- 
щем. Как показано ранее, существенным свойством квази- 
градиентных методов является возможность отыскания такого 
(может быть, достаточно малого) шага о. в выбранном направ- 
лении, который приводит к уменьшению значения минимизи- 
руемой функции. Это имеет место всякий раз, когда направ- 
ление минимизации составляет острый угол с антиградиентом. 
Выбор же направления в формуле (9.19) не гарантирует нам 
этого. Поэтому даже при малых р, > 0 мы будем не в состоя- 
нии уменьшить значение .// (9). В [242] предлагается попере- 
менно для о, пробовать как положительные, так и отрицатель- 
ные значения. Например, если задаться коэффициентом ре- 
дукции О < р < 1, то можно положить о = (— В)", где г = 
= 0, 1,...; 0; тогда соответствует первому г, для которого 


— 
У (9,-+,) < / (9.). Однако и эта процедура иногда может не 
привести к уменьшению функции, (например, в случае, когда 
направление минимизации ортогонально градиенту). Тогда 


ЗИ 


следующую точку можно искать методом случайного поиска, 


в окрестности данной ©.. 

9.5.4. Разностные аналоги метода Ньютона. В предыдущем 
пункте отправной точкой при конструировании итерационных 
процедур служила доступность. информации лишь о функци- 


ях [; (9.). Иногда в регрессионных задачах оказывается срав- 
нительно просто подсчитать производные #{;,. Подчеркнем, 


что речь идет о непосредственном подсчете величины #;,, а не 
их разностных аналогов, которые требуют, по крайней мере 


(т - -го вычисления функций /[; (9,). Обращение к разност 
ным формулам для вычисления #;, делает применение изло- 
женной ниже группы методов бессмысленным. Каждый шаг, 
ими определяемый, будет по трудоемкости близок к несколь- 
ким шагам из итерационных процедур, рассмотренных в 
п. 9.4.1 и 9.5.2. 

По-видимому, наиболее известным из рассматриваемой 
группы методов является метод Дэвидона—Флетчера—Пау- 
элла. Идея, лежащая в основе данных методов, состоит в отыс- 
кании на каждом шаге направлений спуска, близких к направ- 
лению метода Ньютона, но без использования матрицы вторых 
производных. 


Матрица Н,, аппроксимирующая матрицу Н, из метода 
Ньютона, может быть, например, выбрана как решение сис- 
темы 


—^ — 


у/ (0) —у9/(9,_,) =н-1(0, —8,_,); 13$, (9.20) 


где Н — симметричная матрица. 

Решение системы (9.20) при $ < т неоднозначно, поэтому 
возможны различные способы конструирования матрицы Н 
Различные методы рассматриваемой группы отличаются 
способами конструирования этой матрицы и правилами вы- 


бора направлений Н; 'У./ (9,), если они не определены одно” 
значно. Матрица Н, должна удовлетворять одновременно урав- 
нениям (9.20) при всех {< 5. 


Приведем способы конструирования матриц Н. для неко- 
торых наиболее распространенных методов (см. 1108, 115, 240, 
211}: 

а) метод сопряженных градиентов: 

Ну = Нь— Неву ФН ее и 
У’ (9, ) Ныу/(0:) 
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где 5. = \У/ (9.) — У. (9,-,), матрицу Но, часто выбирают 
единичной или диагональной с элементами 9,„/УЛ. (9.)}, 
я = | т; 

6) метод Дэвидона—Флетчера—Пауэлла: 


— — 9.—9._)(9.—6._ | Н; в, в. Н._ 
ЯЙ, +99. —6,.) Нав: Неа. 


(3,—9,_,) с; 85 На 5 


в) измененный вариант метода Дэвидона—Флетчера—Па- 
уэлла: 


ноя 8.5.008... ь8. 8) 
8 — 8—1 ^— 25— , — 2— , ° 
( 9,— 9.) 5: ( 9,— 9.1) 5$ 


При квадратичной функции / (9) (в нашем случае — ли- 
нейной параметризации) после т шагов матрица Н, подсчиты- 
ваемая любым из методов а)—в), в точности совпадает с матри- 
цей Н,, определенной в п. 9.3. Иными словами, при р, = | в 
этом случае точное решение исходной экстремальной задачи 
будет заведомо получено за т шагов. Если ©, выбирается из 


условия наискорейшего спуска в направлении — Н,УУ (9,), 
то при выполнении не слишком ограничительных условий после- 


довательность {0. } сходится при $ — © к 9* со сверхлиней- 
ной скоростью независимо от выбора ®©.. 


9.6. Способы нахождения 
начального приближения 


В задаче минимизации функции У (9) первостепенное значение 
имеет удачный выбор начального приближения ®©,. Разумеет- 
ся, невозможно придумать общего правила, которое было бы 
удовлетворительно для всех случаев, т. е. для всех возможных 
нелинейных функций {/;}. Каждый раз приходится искать 
свое решение. Ниже предлагается набор некоторых способов 
нахождения грубых начальных приближений, который на 
практике может служить отправной точкой поиска удовлет- 
ворительных приближений в конкретной задаче. 

3.6.1. Поиск на сетке. Особенно эффективен этот метод при не- 
большом числе собственно нелинейных параметров. Часто 
функции /; устроены так, что при фиксации значений одних 
параметров (которые и называем собственно нелинейными) 
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остальная часть параметров становится линейной. За даваясь. 
тогда нижней и верхней границей для нелинейных параметров, 
с некоторым шагом можно устроить перебор вариантов на по- 
лученной сетке значений этих собственно нелинейных пара- 
метров и выявить ту линейную регрессию, которая приводит 
к минимальной сумме квадратов. [ 


В качестве примера рассмотрим функцию 


р =0, --0, х; -- 9зе * г. . 
Е(Хи 0) =0,- 0, х> -- 0, е*# (9.21) 


Здесь собственно нелинейным параметром будет 0,. Допус- 
тим, известно, что 0.— 0, < 0.. Пусть А — шаг для па- 


раметра 0.. Вычислим К =(6, — 94)/й линейных регрессий 
Р. (Хз 0) =0, 0, ж 7 +6524, 


где 2;, = ехр [(0, -- #^)х:?], Е =1,..., К, и найдем для 
каждой из них минимальную сумму квадратов. Наименьшей 
из них соответствует оптимальное начальное приближение. 
В принципе шаг Й, от которого зависит «густота» сетки, может 
варьироваться, так что за счет уменьшения величины й значе- 
ния параметров могут быть найдены с любой точностью. 
9.6.2. Преобразование модели. Иногда некоторым преобра- 
зованием модель можно свести к линейной или же уменьшить 
число собственно нелинейных параметров (см. п. 6.2.3). Пока- 
жем, как этого можно добиться, на примере логистической 
кривой 


би 0) = о, 


| --, 0» ехр (93 х;) 


Производя над соответствующими уравнениями регрессии 
обратное преобразование, получим 


Обозначая 2; = 1/у;, 1/0, = 0., 6./0, = 095, приходим к 
новой функции, число линейных параметров которой увели- 
чилось с одного (9,) до двух (9; и 6.5). Оценка для параметра 
9; в новой модели может быть найдена, например, по преды- 
дущему методу. 

Здесь уместно сделать следующее замечание о преобразо- 
ваниях регрессионных моделей. Следует иметь в виду, что 
ошибка =, входившая аддитивно в исходное уравнение, после 
преобразования, вообще говоря, уже не будет аддитивна. 
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Пользуясь разложением в ряд Тейлора и обозначая преобра- 
зование }; (9) через 4 ({;), получим, пренебрегая слагаемыми 
порядка #2, 


а =9(у)=9(: +) =9) +9 (в: + 9) =. 


Отсюда следует, что 
1 ®. 
Е; = Е9 (уз) =9\}:)---> 901) 0°. 


Последнее равенство можно взять за основу для анализа 
задачи с преобразованной моделью. 
9.6.3. Разбиение выборки на подвыборки. Для нахождения 
начального приближения можно разбить всю выборку на т 
подвыборок (с приблизительно равными объемами), где т — 
число неизвестных параметров. Для каждой подвыборки най- 
дем средние по у и по Х, которые обозначим соответственно 


(и, Х), |= 1,..., т. Решим систему нелинейных уравнений 
о тносительно 01, ..., 9%: 


у =Р(Хь; 6, ..., 0) 


Ут =} (Х”; 0,, ..., 9,„,). 

Решение этой системы и будет являться начальным при- 
ближением параметров. Очевидно, для того чтобы данный ме- 
тод «работал», необходимо, чтобы эта система нелинейных 
уравнений решалась довольно легко, например аналитически. 
9.6.4. Разложение в ряд Тейлора по независимым перемен- 
ным. Основой итеративной минимизации суммы квадратов 
является разложение функции регрессии в ряд Тейлора до 
линейных членов по параметрам. Для нахождения грубого 
начального приближения иногда бывает полезна процедура 
аппроксимации регрессии путем разложения ее в ряд Тейлора 
по независимым переменным Х;. Будем для простоты считать 


Х; одномерным. Пусть х — среднее значение, тогда прибли- 
женно 


Раз 6) яр (х; 0) Ни)” (; 9)... а — 
—*)" т (х; 9). 


Обозначим (х; — х)® = 2;., и (х: 9) = Ф,, таким образом 
приходим к линейной модели 


(2; Ф) =Ф,--Ф, 21 --... + Фиг. 
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Пусть Ф, — мнк-оценки параметров этой линейной ре- 
грессии. В качестве начальных приближений примем реше- 
ние нелинейной системы уравнений относительно 0,, ..., ди: 


Ее; @)=Фь, ..., [9 (х, 0) =Ф, 


Очевидно, этот метод приемлем в том случае, когда по- 
следняя система относительно первоначальных параметров 
решается довольно просто (аналитически). 

Покажем использование этого приема на примере нели- 


нейной регрессии (9.21). Для простоты будем считать х(2) = 
= 0. Тогда 


(2) _ 1 —(о 
ео 1-Е (2) — х(2)) 0, > (8—0)? 01. 


Подставляя это разложение в (9.21), получим 


(Хи 9) = (0, -+ 6.) -- 0, х'?- 0.0, х;” +- 6 0: (х{??)?. 


Обозначив Ф, = 0. +0., Ф, =60,, Ф, = 0.9., Ф, = 
= 0.02/2, х'? = 2, к = 2:0, (59)? = аа, приходим к ли- 
нейной по Ф модели 


#(7;; Ф) =Ф.-+Ф, 2. +Ф, 2, + Ф, 2. 


Тогда если Ф; — мнк-оценки линейной регрессии, то 
легко проверить, что начальным приближением } для парамет- 
ров @ 9 будут 0. = Ф,, 0, = 2Ф/Ф., 0. =Ф „6. 6 = = Ф, — 
— 0. 


В реальности возможна комбинация предложенных спо- 
собов. Практика показывает, что таким образом можно полу- 
чить достаточно хорошее начальное приближение для широ- 
кого круга нелинейных регрессионных задач. 


9.7. Вопросы существования 
и единственности мнк-оценки 


9.7.1. Существование. `Запись (9.1), строго говоря, не совсем 
корректна, так как мнк-оценка может отсутствовать, если 
априорное множество параметров Г не является компактом 
(по предположению ]; считаем непрерывными на Г). Отсут- 
ствие решения в задаче мнк практически п риведет к тому, что 
итеративный процесс минимизации / (98) будет расходиться 
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и [|9.|- со при $ —+ со. Естественно, перед тем как решать 
задачу минимизации, желательно удостовериться, что она 
корректна. Изложим один подход к решению этой проблемы 
(более подробно см. [43, 44]). Назовем нижней границей функ- 
ции У (9) на бесконечности число 


1=йп Ш /(9). 


го || О | гг 


Можно показать, что если существует такое начальное при- 


ближение ©., что / (9,) < У, то мнк-оценка существует, а 
множество 5 (©9,) = {9 ЕР" : / (9) < /(09.,)} компактно. 
Компактность его гарантирует существование хотя бы одной 
предельной точки последовательности значений параметров, 
вырабатываемой одним из методов минимизации. 
Нелинейная регрессия имеет бесконечные хвосты, если при 
[10 ||— < |}; (9)| -> с для любого # = 1,2, ..., п. Наоборот, 
регрессия имеет конечный хвост, если существует такая 
последовательность параметров ||9,||-— <, Е-— <, что 
И: (9) = М < < для всех  =1,2,..., п. Можно показать, 
что / = --со тогда и только тогда, когда регрессия имеет бес- 


конечные хвосты. В случае / = со мнк-оценка всегда сущест- 
вует. Например, в случае логлинейной модели, т. е. когда 
#(Х;; 9) = ехр (9’Х;), регрессия имеет бесконечные хвосты, 
если векторы Х|, ..., А, Е К" разнонаправлены (для любого 
о, © Ю" существует вектор Х;, для которого &’Х; < 0). В то 
же время можно показать, что если наблюдения у; > 0, то в 
логлинейной модели мнк-оценка всегда существует. 


Оценки снизу для величины ./ в каждом конкретном случае 
находят аналитически до начала процесса минимизации. 
9.7.2. Единственность. Сумма квадратов может быть мульти- 
модальной. Более того, можно доказать, что вероятность муль- 
тимодальности / (9) отлична от нуля для любой нелинейной 
регрессии, не сводящейся к линейной преобразованием в про- 
странстве параметров. Дело усугубляется тем, что все методы 
минимизации в лучшем случае приводят к локальному мини- 
муму функции. Проверка того, является ли этот минимум гло- 
бальным является следующей, возможно, не менее трудоем- 
кой операцией. На практике часто поступают следующим об- 
разом. Процесс итераций начинают из другого начального 
приближения. Тогда, если он сойдется к точке, полученной в 
первой попытке, можно быть более уверенным в том, что нели- 
нейный минимум является глобальным. 

Существуют аналитические методы проверки на достижи- 
мость глобального минимума суммы квадратов. Все они пред- 
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полагают аналитическое исследование поверхности отклика. 
Иногда при исследовании этой проблемы бывает полезен сле- 
дующий результат. Пусть ‘найдено выпуклое множество пара- 
метров 5, на котором гессиан 0°//09909’ положительно оп- 
ределен. Пусть далее найдена оценка снизу М, такая, что 
7 (9) =М для всех 9 Е5. Тогда, если найденной точке в 
процессе итераций ©9* Е $ соответствует локальный минимум 
со значением / (9*) < М, то / (9*) — глобальный минимум 
функции. Например, для логлинейной модели [43] Р(Х;; 
09) = ехр (0’Х;) с положительными наблюдениями и; мно- 
жеством 5 будет 


$ = {ЭЕР”: 9’ Х; > Шу, —ш2, #=1,..., п}, 


а в качестве простейшей оценки снизу можно взять М = 


| . 
= 1 шм УГ. Подобные оценки, как и в случае исследования 


на существование мнк-оценки, необходимо проводить анали- 
тическими методами. 


ВЫВОДЫ 


1. При исследовании параметрических моделей регрессии наи- 
более распространенным типом оптимизируемого (с целью 
нахождения оценок неизвестных значений параметров рег- 
рессии) критерия адекватности модели является взвешенный 
(или обобщенный) критерий наименьших квадратов (см. (9.1), 
(9.2)). Следует стремиться к построению таких вычислитель- 
ных алгоритмов решения оптимизационных задач, которые 


наряду с решениями этих задач — значениями оценок © не- 
известных параметров 9, — давали бы необходимые харак- 
теристики их точности (оценки элементов ковариационных 
матриц, доверительные области ит. п.). 
2. Наибольшее распространение среди методов поиска оценок 
наименьших квадратов получили алгоритмы итерационного 
типа, позволяющие на каждой следующей ((5 — [)-Й) итера- 
—>^ 


ции получать приближенные значения ©,., искомых оценок 

параметров, лежащие «ближе» к истинному решению ©* соот- 
— 

ветствующей оптимизационной задачи, чем значения ©, пре- 


дыдущей итерации, т. е. 9... = ©, + р, - 9., где $ — номер 
итерации; 6,— вектор, определяющий направление движения 
на 5-й итерации; р; — длина шага. Если движение осуществ- 
ляется в направлении под острым углом к антиградиенту оп- 
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тимизируемой функции, то алгоритм относится к классу ал- 
горитмов квазиградиентного типа. 

3. Если движение в итерационной процедуре уточнения зна- 
чений оценок параметров осуществляется непосредственно в 
направлении антиградиента, то процедуру относят к алгорит- 
мам градиентного спуска. Подобные алгоритмы обеспечивают 
(при определенных ограничениях на минимизируемую функ- 


цию) сходимость последовательности ©, со скоростью геомет- 
рической прогрессии (линейная сходимость). Из-за того, что 
реальная скорость сходимости таких алгоритмов резко сни- 


—> —м 
жается при приближении ©9, к предельному значению ©*, 
градиентный спуск целесообразно применять лишь на началь- 
ных этапах минимизации, используя найденные в результате 

— 


сравнительно небольшого числа итераций величины ©, в 
качестве начальных приближений для более сложных мето- 
дов, обладающих большей скоростью сходимости. 

4. В методе Ньютона значения неизвестных параметров на 


каждой следующей итерации 9,., находятся из условия ми- 
нимума квадратичного полинома, аппроксимирующего исход- 
— 


ную критериальную функцию в окрестности точки 9,. При 
этом соответствующая процедура будет менее чувствительна 
к выбору начального приближения (в частности, будет менее 
подвержена эффекту «раскачки» при его неудачном выборе), 
если использовать ее вариант с регулировкой шага. При опре- 
деленных условиях метод Ньютона обеспечивает квадратичную 


скорость сходимости последовательности ©, к 6©*. 
5. Используя линейную (по параметрам) аппроксимацию ис- 


следуемой функции регрессии в окрестности точки ©,, мож- 
но прийти к модификации метода Ньютона — методу Ньюто- 
на—Гаусса. Он существенно проще в вычислительном плане, 
однако бывает слишком чувствительным к эффекту слабой 
обусловленности используемых в нем матриц М,. Скорость 
сходимости этого метода в зависимости от условий, наклады- 
ваемых на регрессионную функцию и свободные параметры 
алгоритма, может быть линейной, сверхлинейной или квадра- 
Тичной. 

6. Существенным недостатком методов квазиградиентного 
типа, в том числе метода Ньютона, метода Ньютона—Гаусса 
и других, является необходимость подсчета производных от 
искомых регрессионных функций на каждой итерации. Ос- 
новная идея, на которую опираются методы, позволяющие 
обходиться без подсчета производных, заключается в ис- 
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пользован?:и на (5 -- 1)-й итерации информации, полученной 
на предыдущих $ ятерациях, для построения разумных аппрок- 
симаций для элементов матриц, определяющих выбор направ- 


ления и шаг движения к решению ©*. 

7. Первостепенное значение для скорости сходимости исполь- 
зуемых итерационных процедур решения оптимизационной 
задачи метода наименьших квадратов имеет удачный выбор на- 


—^щ 
нального приближения ®©,, Для реализации этого выбора ис- 
пользуется ряд приемов: «поиск на сетке» (п. 9.6.1), вспомо- 
гательное преобразование (линеаризующее) модели (п. 9.6.2), 
разбиение имеющейся выборки на подвыборки (п. 9.6.3), раз- 
ложение регрессионной функции в ряд Тейлора (п. 9.6.4). 
8. При вычислительной реализации метода наименьших квад- 
ратов в нелинейном (по оцениваемым параметрам ©) случае 
приходится исследовать вопросы существования и единствен- 
ности решения. Необходимо помнить, что используемые (в 
том числе все описанные выше) методы оптимизации приводят 
в лучшем случае лишь к локальному минимуму критериальной 
функции. Проверка того, является ли этот минимуму глобаль- 
ным, является следующей, зачастую не менее трудоемкой, вы- 
числительной операцией. 


Глава 10. НЕПАРАМЕТРИЧЕСКАЯ, 
ЛОКАЛЬНО-ПАРАМЕТРИЧЕСКАЯ 
И КУСОЧНАЯ АППРОКСИМАЦИЯ 
РЕГРЕССИОННЫХ ЗАВИСИМОСТЕЙ 


На практике далеко не всегда исходя из профессиональных 
соображений удается найти аналитический вид регрессионной 
зависимости. Использование же для ее описания одного из 
стандартных классов функций может привести к заметной 
систематической ошибке. Для уменьшения этой опасности при- 
бегают к методам локального (при заданном значении регрес- 
сора) оценивания регрессии ($ 10.1—10.2) или же разбивают 
область возможных значений регрессора на несколько частей 
и для каждой из них строят свое аналитическое описание рег- 
рессионной зависимости ($ 10.3). 

Построение простейших непараметрических оценок рас- 
сматривается в п. 10.1.1. Их слабое место: недостаточно эф- 
фективное использование гладкости регрессии и особенностей 
геометрического расположения выборочных значений регрес- 
сора. Возможны два пути борьбы с этим недостатком: 1) ус- 
ложнение весовой функции в (10.2) и 2) локальное использо- 
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вание обычной параметрической регрессии для оценки коэф- 
фициентов при первых членах разложения регрессионной кри- 
вой (поверхности) в ряд Тейлора в окрестности изучаемой точ- 
ки. В этой главе принят второй путь как более наглядный и 
традиционный для статистики. 


10.1. Непараметрическое оценивание регрессии 


10.1.1. Роль и место непараметрических методов. Непарамет- 
рический подход к оцениванию позволяет ослабить два основ- 
ных требования классической постановки регрессионной за- 
дачи. Первое-—предположение отом, что Е (у|Х) как функция 


Х представима в виде }(Х; 9), где }(...,...) — известная 
функция своих аргументов, а 9 — вектор неизвестных пара- 
метров, оцениваемый по выборочным данным, — заменяется 


на более слабое предположение, что } (Х) — непрерывная и 
гладкая функция Х. Второе требование постоянства 0? (Х)— 
дисперсии случайной погрешности — заменяется на предпо- 
ложение непрерывности о? (Х). 

В простейшей непараметрической оценке выбирается не- 
которая непустая окрестность точки Х. О (Х.) и, предполагая, 
что в этой окрестности / (Х) приблизительно постоянна, пола- 
гаем 


т00= У и. | У 1 (10.1) 


ХЕ СО (Хо) Х: СО (Х;) 


где суммирование в числителе и знаменателе проводится по 
всем выборочным точкам Х; ЕО (Х;). Формуле (10.1) можно 
придать несколько другой вид, удобный для дальнейших обо- 
бщений. Введем весовую функцию ц (Хх, Х,) =1, если 
Х 6 О (Хо, и равную нулю в противном случае. Тогда (10.1) 
перепишется в виде 


(= Ув (Х, ХууиУо(Х, Ху. (10.2) 


Классическая непараметрическая оцен;:а регрессии полу- 
чается из (10.2) путем предположения, что 


2 (Х, Хо) = (| Х—Х, ||" /?/6), 
где ^ (и) — известная функция неотрицательного аргумента, 


стремящаяся к нулю при и — <; Ь — параметр масштаба, за- 
дающий размер окрестности. Обычно полагают 


"® (и) = ехр {—и?/2} или Ё (и) = И (1 -- и. (10.3) 
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Поскольку в непараметрических оценках | (Х.) использу- 

ется не вся выборка, а только ее часть — совокупность пар 
(и:;, Х;) с Хь входящими в окрестность О (Х.), где прибли- 
женно верны классические предположения, то в случае, когда 
1) классические предположения верны для всей области измене- 
ния Х и 2) параметрическое представление регрессионной за- 
висимости известно исследователю, непараметрические оценки 
всегда менее эффективны по сравнению с классическими. Однако 
они имеют меньшее смещение, когда эти предположения нару- 
шаются. В реальных задачах, выбирая метод оценивания рег- 
рессии, следует стремиться сбалансировать обе погрешности: 
случайную, как правило, уменынающуюся при расширении 
объема используемой выборки, и систематическую, растущую 
при этом. 
10.1.2. Примеры. Прежде чем переходить к последователь- 
ному изложению непараметрических оценок, приведем два 
примера их использования, заимствованных из опублико- 
ванных работ. 

Пример 10.1 [49]. Для анализа производительности 
труда изучалась зависимость у — выработки (руб.) на одного 
рабочего в строительно-монтажном тресте от х(“1) — объема 
(млн. руб.) строительно-монтажных работ (СМР); х(“?) — рен- 
табельности в процентах к сметной стоимости СМР; х) — 
объема продукции подсобных предириятий в процентах к 
сметной стоимости СМР; х“) — ритмичности СМР в течение 
года по кварталам (%); х(°) — фактической стоимости потреб- 
ленных материалов в процентах к общей стоимости СМР; 
х@8) — фондоемкости; х(“) — текучести кадров к среднемесяч- 
ному числу рабочих. За единицу наблюдения был взят строи- 
тельно-монтажный трест. Выборка объема п = 47. 

После проведения классического регрессионного анализа 
с отсевом незначимых факторов была получена модель 
у = 5607,4 | 63,74х@) - 48,65х) — 16,87х(3) (10.4) 

Эта модель легко интерпретировалась с точки зрения эко- 
номического содержания. Действительно, х@) и х@) являются 
ведущими аргументами, увеличение которых положительно 
сказывается на выработке, а х(“3) — это производство продук- 
ции внутри треста, которое в силу малой мощности предприя- 
тий не может быть рентабельным, но без него невозможно строи- 
тельство. Погрешность аппроксимации в терминах = — сред- 
него абсолютного относительного отклонения и в — стандарт- 
ного отклонения составила для (10.4) 


ел = У 
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/ п = 0,082; с„„= 780. 


У:— 9: 
У: 


Оценка той же регрессионной зависимости с помощью не- 
параметрической процедуры (10.2) дала заметно лучшее при- 
ближение: &нешар = 0,051, бнепар = 424. Правда, интерпре- 
тация непараметрической модели сложнее. Работа не оканчи- 
вается получением оценок значений регрессии в заданных 
точках, а требуется еще установить, как в среднем меняется 
регрессионная зависимость при изменении аргументов. Часто 
этому не уделяется должного внимания. 

‚ Пример 10.2 [22, 88]. Рассматривалась модельная од- 
номерная задача, где х — случайная величина, равномерно 
распределенная на отрезке (0; 10), } (х) == 10 (1 ехр {—х/2}), 
о (х) = 0,1 -/(х). В качестве меры погрешности {-го метода 


аппроксимации бралось 6; = Х ({(х;) — | (Хх) т. 

На рис. 10.1 показаны значения 6; ({ = 0, 1, 2), соответст- 
вующие непараметрическому оцениванию с помощью метода 
локальной параболической (порядка #) аппроксимации (5 10.2) 
с весовой функцией ши (х, хо) = ехр {—(х — хо)*/25?}. Пара- 
метрическое оценивание с неадекватно предположенной мо- 
делью [нар = (а + сх) в обоих случаях (п = 75 ип = 300) 
дало значительно большую погрешность О пар > |. 

По рисунку видно, что при использовании неадекватной 

параметрической модели погрешность наибольшая. Локаль- 
ная параболическая аппроксимация с использованием поли- 
нома второй степени лучше, чем традиционно применяемая 
аппроксимация полиномом нулевой степени. Первая не толь- 
ко дает наименьшую погрешность, но и значительно устой- 
чивее к ‘выбору величины 6. 
10.1.3. Выбор параметра масштаба 5. Это наиболее ответст- 
венный момент при использовании непараметрических оце- 
нок типа (10.2). Здесь возможны два подхода: |) выбор еди- 
ного значения 6 для всей области изменения Х (так обычно 
поступают на практике) и 2) локальный выбор В в зависимости 
от того, насколько близко к искомой точке Ху расположены 
точки Х; (= 1,.... п) выборки. 

В первом случае целесообразно постройть как функцию 5 
кривую 

п 
@ (5) =п-". У ( — рва, Хиву, | М ВХ, — 
] $ 


$ =1 
—Х, 11/216) (10.5) 
задающую асимптотически (при л — со) несмещенную оценку 


величины среднеквадратической погрешности непараметри- 
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ческой аппроксимации. Подходящее значение Ь, находится 
из условия, что 4? (6%) < &? (5) для всех В = Ь.. 

Локальный выбор 5 целесообразен, когда Х; расположены 
в области интересующих нас значений очень неравномерно. 
В этом случае можно, например, потребовать, чтобы В (Х.,) — 
величина 6 в точке Х, — выбиралось из условия 


ь, (Ху = ШЕЦЬ: число (ХВ (| Х,;— |216) > 1/2) > т}, (10.6) 


где 1 — некоторое наперед заданное число. Для нахождения 
оптимального значения т можно воспользоваться описанной 
выше процедурой, но с заменой в (10.5) в левой части 4? (5) на 
4 (т), а в правой под знаком второй суммы Ь — на 6» (Х}), 
где» (Х;) определяется (10.6). Так же как 5, т... находит- 
ся из условия минимизации 4 (т). 

10.1.4. Более эффективное использование гладкости /\(Х). 
Если регрессионная поверхность достаточно гладкая и в ок- 
рестности Х. может приближенно считаться линейной, т. е. 


Г(Х)=[(Хо) + 9’ (Хо) (ХХ 9 Х—Хь 1, (10.7) 
где © (Х,) = (64%, ..., 042)’ — неизвестный вектор, завися- 


щий только от Хо, то для оценки [ (Хо) вместо (10.2) можно вос- 
пользоваться оценкой 


опт 


20 Ио ... Иор И оо Ио1 оо Иор 

— 
21 Чи... Н И10 Ил ...Н 

Е (ХХ) =| “1 “и 1р |.| 10 “11 1р|, (10.8) 
@р Ир зоо Ирр Ито Ир Фе Ирр 


где 2, = Хи; “ (Х;, Ху}; 2; = УИ: (2 — р) в (Х,, Х 
(15 0); ир= и = №(х® — ХР) (Хь Ху); 


Ик; == У (0% —х®) (хП—х9) и (Хь Хо) 
1 


для К, | == 0. Для обоснования (10.8) заметим, что предло- 
женная точечная оценка есть обычная мнк-оценка постоянно- 
го члена в случае линейной поверхности регрессии, когда в 
(10.7) отброшены члены, обозначенные О (ПХ — Х.]}). В при- 
мере 10.2 мы видели, что эта оценка (соответственно 6.) может 
быть значительно лучше оценки (10.2) (соответственно бо). Она 
специально рассчитана на случай, когда Х; не заполняют рав- 
номерно пространство возможных значений Х. 
Использование оценки (10.8) вместо (10.2) открывает воз- 
можность содержательной интерпретации регрессионной за- 
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висимости, на необходимость чего было обращено внимание в 
примере 10.1. Для этого достаточно наряду с оценкой }{ (Х,) 
построить © (Х,) — оценку вектора © (Х,) в (10.7) 


Ио --- М0, (1—1) 20 10, (1-1) ... Иор Ио ... Нор 
6 — Изо .-- И, (1—1) 1 И1, (141)... Ир Ио .-. Мар ‚(10.9% 
И ро ... Ир, ((—1) 2р Ир, (1-1) ‚.. Ирр И ро ... И ур 


Сравнение © (Х) для разных значений Х дает возможность 
оценить, как, насколько меняется влияние изучаемых факто- 
ров на регрессию в разных областях пространства возможных 
значений Х. 

При использовании формул (10.8), (10.9) выбор величины 
Ь можно производить так же, как указано в предыдущем пунк- 
те. 


10.2. Локальная параметрическая аппроксимация 
регрессии в одномерном случае 


Основная цель этого параграфа — дать в краткой форме тео- 
ретическое объяснение тем фактам, которые были выявлены 
путем моделирования в примере 10.2. Это целесообразно сде- 
лать потому, что локальная параметрическая аппроксимация 
не нашла еще достаточного отражения в теоретических иссле- 
дованиях и мало используется в практических работах. 
10.2.1. Основная формула для оценки. Из разложения { (х) 
в ряд Тейлора в О (х.} — окрестности х == ху до членов поряд- 
ка /[ 


[ 
Г) = (о) + Х.Г (х— ху Ро х—ж |) (10.10} 
1 


и уравнений мнк (см. гл. 7) получаем оценку 


20 И: ... ИЕ Ио ... ИВ 
Ё (хо) — 2 Ио ... Ир-1 и: ... И (10.11) 
2ь И +1 ... 2 Ив ... И2ь 


где 2; = Хун (;); и; = Хи (и); = х— ху ш (0 =1, 
когда Х, -- ЕО (ху) и равно нулю в противном случае. Если 
рассматривать только пары точек (и;, х;), где х; Е О (хо), то 
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—. 


7 (<) — это просто мнк-оценка постоянного члена в (10.10), 
когда пренебрегают вкладом о (|9|‘). На практике за и (и) 
обычно берутся функции типа (10.3). Однако в теоретическом 
исследовании мы выберем 


1, если |9| <; 


#2 (9) = 
0, если |9] >65. 


(10.12) 


10.2.2. Асимптотическая оценка точности приближения [ (хо). 
Пусть в окрестности хо { непрерывна и имеет / первых непре- 
рывных производных [7 (х), причем /) (х) удовлетворяет ус- 
ловию Липшица порядка 0 < а = |, т. е. для некоторого, 
с< о О (хх +9) — К (%х)| < сю. Предположим далее, 
что точки х1, ..., Хх, распределены независимо друг от друга с 
плотностью р (х). Пусть далее р (х) и с (х) — стандартное от- 
клонение погрешности в точке х — непрерывны в окрестности 
Хх =х ир (%) > 0. 

При сделанных предположениях при росте объема выборки 
(п — со) ир -— 0 имеем, что дисперсия случайной ошибки есть 
величина порядка 1/16, а квадрат систематического смещения 


р, (хо) не превосходит 6?! 12%. Уравновешивая обе погрешности, 
получаем 6 = п-!/(1+21+2%), и среднеквадратическое отклоне- 


^^ 
ние оценки [ (хо) будет величиной порядка п ®}/( 14 21429). 
Заметим, что для гладких функций [Ь убывает очень медлен- 
Но. 


10.2.3. Сравнение ], и}. Пусть в некоторой окрестности х = 
—= хо регрессия {(х) линейна, [{(х) = | (х) - 0 (х — хо), 
ао (х) ир(х) постоянны. Обозначим т число точек х; Е 
Е [х, — 6, х, - В]. Пусть далее число наблюдений п -—+ о, 


& (и) определяется (10.12), ар —> 0, тогда обе оценки к инс 
некоторого момента несмещены и 


О (11) = (0? 0 62/3) /т; (10.13) 
(|) = бт О (т-3) т. (10.14) 


Формулы (10.13) и (10.14) асимптотически эквивалентны. 
Однако члены второго порядка малости в них различны. При 
Ь = п-6, где б < Ч., и 0 =2 0 члены второго порядка малости 
в (10.14) асимптотически меньше, чём в (10.13). Если р = 


== соп${, то даже при линейной функции [ оценка }» смещена 
если только 0 == 0. Как показывает модельный пример 10.2, 
вклад выборочных флуктуаций х даже при значениях п по- 
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рядка нескольких сотен заметен. Тем более неравномерное 
распределение точек Х; должно сказываться в многомерном 
случае, что служит еще одним аргументом в пользу оценок 
{10.8) по сравнению с оценками (10.. 2). 


10.2.4. Изучение дисперсии оценок И ({ > 2). По рис. 10.1 
видно, что при малых значениях 66. >5.. Для того чтобы 
изучить этот эффект, сделаем дополнительное упрощающее 
предположение, что х; лежат на равном расстоянии друг от 


друга. Предположим далее, что все оценки {; несмещены для 


04 08 12 


Рис. 10.1. Зависимость погрешности локальной параболиче- 
ской аппроксимации от величины 6 для выборки объема: 
а) п=75; 6) п== 300 


[х —х.| <Ь, и при фиксированном Би т — со оценим ряд 


отношений О], : Од : ЭР, :... Для этого удобно использовать 
полиномы Чебышева, ортогональные на |х — х| ЗВ [77]. 
Обозначим Фф; (9) — полином |-го порядка, где у = х — — %; 


с; — коэффициент перед ‹ ф; В ‚разложении Ё (хо НУ), и `с; — 


оценку с;. Очевидно, = ый (0). Откуда 


— [ — 1 
Вр = У Ос; 9] (0) = Уа,, (10.15) 
]1=0 }=0 


поскольку оценки с; независимы. Используя явный вид по- 
линомов Чебышева [77], получаем 
4 = 0?/т; 4: = 0; фо = 54/4: 43 == 0; 


21—1)2(41--1 
Чи = 4. и 


(20) (41 Ш— ‚ Чиа = 0; 
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ИЛИ 
ОХ: Ор: 0 =1:2,95 : 3,51 ... 


Из приведенного рассуждения можно сделать вывод, что 
при р (х), непрерывном в окрестности х — х., р (хо) = 0 и 


достаточно малом 6 переход от р К ри не вызывает заметно- 
го роста дисперсии оценки, в то время как при переходе к 
— 


21-1) Дисперсия оценки увеличивается приблизительно на 
1,25 Ок. Таким образом, лучше использовать оценки нечетно- 


го порядка (|, [з, ит. д.). 

Напомним, что контроль среднеквадратического отклоне- 
ния, учитывающего и случайную, и систематическую состав- 
ляющие ошибки, целесообразно проводить с помощью кривой 
(10.5). 


10.3. Кусочно-параметрическая 
(сплайновая} техника аппроксимации 
регрессиснных зависимостей 


В последние два десятилетия в вычислительной математике и 
в инженерной практике широкое распространение получили 
функции, называемые сплайнами. Этот термин произошел от 
английского зрИпе, означающего упругую и гибкую метал- 
лическую линейку, использовавшуюся для проведения глад- 
кой кривой, проходящей через заданные точки. Одномерный 
сплайн степени / представляет собой функцию, непрерывную 
вместе со своими ({ — 1)-ыми производными, у которой произ- 
водная (-го порядка постоянна на интервалах между заданны- 
ми точками, называемыми узлами. Сплайн [-й степени можно 
представить состоящим из гладко (до (1—1)-го порядка) скле- 
енных в узлах полиномов [/-й степени. 

Сплайны сравнительно мало известны прикладным ста- 
тистикам. Вместе с тем, по мнению ряда авторов [54, 114], они 
являются наиболее удачными аппроксимирующими функциями 
для приложений. Дело здесь в том, что поведение функции, 
выражающей физические взаимоотношения, в одной области 
пространства может быть полностью -не связанным с ее пове- 
дением в другой области. Полиномы наряду с большинством 
других математических функций обладают как раз обратным 
свойством. Их поведение в малой области однозначно опре- 
деляет поведение в любой другой точке. Сплайны, поскольку 
они определяются кусочно, лишены этого недостатка, и для 
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[ > 3 они прекрасно представляют гладкие кривые физичес- 

кого мира. В последние годы сплайны стали широко исполь- 

зоваться при аппроксимации регрессионных зависимостей. 
Основная часть этого параграфа посвящена одномерным 

сплайнам. 

10.3.1. Определение одномерных сплайнов. Пусть на отрезке 

[а, 6] выделено т точек и, ..., ит, Которые мы будем называть 


узлами, Р; (т) (=1,..., т -- 1) — полиномы степени [, 
удовлетворяющие условию 
Ре’ (и;) =Р®] (и:), Е=0, .... 1—1; 1=1, 44, т, (10.16) 


где Р<*) означает производную (пох) Е-го порядка от Р. Тогда 
91 (х)=Р; (Х), и; 13 хи, (ш = а, ит = 6) (10.17) 


называют сплайном [/-го порядка с т узлами. Таким образом, 
если исследователь хочет использовать сплайны, он должен 
определить: 

а) [ — порядок сплайна, т. е. степень полиномов Р; (х); 

6) м — число узлов, равное числу различных полиномов 
без одного; 

в) положение узлов и; {= 1,..., т) на [а, 6]; 

г) т-- /-- 1! свободных коэффициентов сплайн-функции 
(каждый полином имеет ([-- 1) коэффициент и каждое ус- 
ловие гладкости (10.16) накладывает / связей, откуда число. 
свободных параметров равно: (т - 1) (Ш —т=т- 
НЕНИ. 

Полиномы Р; могут быть представлены в одной из двух 
форм: 


| 

Р;(х) = У а (хи: 1 
Е=0 

или 


| 
Р; (х) — У Ь(е) (х—и;)^. 


&=0 


Отсюда для сплайна на отрезке [а, 5] получаем представление 
[54] 


т 
$1 (х) = Р! (х) + Ус: (х—и;)+, (10.18) 
1—1 
где с; = а, — 60, а знак +; справа снизу скобок означает 
усечение 
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[ при > 0; 
0- = 
0 при 90. 


В формулу (10.18) линейно входят только т -- [- 1 неизвест- 
ных коэффициентов, поэтому в принципе она могла бы быть 
использована в методе наименьших квадратов или в какой- 
либо другой подходящей процедуре оценивания. Однако с вы- 
числительной точки зрения иметь дело со степенными функ- 
циями не удобно и желательно использовать другое представ- 
ление $, (х) через так называемые базисные сплайны. 

Для этого введем дополнительно [ узлов слева и; <... 
... Зи <аи | узлов справа 6 < ит <... < ити. 
Например, можно положить 


и при & < 0; 
Ит+1 НЕ (Ит+1—Ит) при Е > т- 1. 


Определим теперь базисные сплайны (В-сплайны) как (ниже 
знак $ справа сверху В — индекс, а не знак возведения в сте- 
пень) 


НН + 
В (х) = У |(5х—щ) ГП (и) |. (10.19) 
Е = 1 = 
В: 


В1-сплайны обладают [54] следующим свойством: 


в: [> длЯ ХЕ (И, И: +141); (10.20) 
==0 для ХФ (ш;, и: 1+1). 


Сплайн-функция $, (х) однозначно представляется в виде 


5$(9= Х в 80) (10.21) 


= -—[ 


Для равноотстоящих на единицу масштаба узлов базисные 
сплайны В., В,, В., Вз показаны на рис. 10.2. 
10.3.2. Выбор порядка сплайна, числа и положения узлов. 
Это важная и ответственная задача, по своей методической роли 
эквивалентная выбору класса аппроксимирующих функций в 
обычном регрессионном анализе. От -ее успешного решения 
существенно зависит, удастся ли при анализе данных ис- 
пользовать все преимущества, представляемые сплайнами, 
или нет. Здесь трудно дать рекомендации, верные для всех 
практических задач. Однако, следуя [258], мы попытаемся вы- 
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сказать некоторые общие соображения для случая, когда на- 
блюдений относительно немного или они распределены край- 
не неравномерно вдоль оси регрессора. В этих условиях жела- 
тельно: 

1) использовать сплайны 3-го порядка; 


2) вводить настолько мало узлов, насколько это возможно. 
На интёрвал между узлами иметь не менее 4 или 5 наблюдений. 
Это правило вызвано тем, что проблема «сверхподгонки» пред- 
ставляет для сплайнов реальную опасность; 


Гл 


701 701 -2101!? 


Рис. 10.2. Базисные сплайны с равноотстоящими узлами: 
а) Во; 6) Ва; в) Ва; Г) Вз 


3) иметь не более одной экстремальной точки (максимум 
или минимум) на интервале. Желательно, чтобы эта точка при- 
ходилась на центр соответствующего интервала, а точки пере- 
гиба линии регрессии были в окрестности узлов. 

Другой подход к выбору узлов можно найти в [197, 245]. 
10.3.3. Оценка параметров и проверка гипотез. Если при фик- 
сированном порядке сплайна [ и заданном положении узлов 
верны классические предположения регрессионного анализа, 
т.е. у; = 5; (х;) - &, причем &; взаимно независимы, не за- 
висят отх; и Ё; Е М (0; в*), где а — неизвестная постоянная, 
то оценка параметров © = (0-х, ..., 9)’ проводится с помо- 


щью мнк (см. 57.1). Обозначим 9 — мнк- оценку 9 = 
= (У’У)-1УУ, где У = (и, ..., У"), У—пх ш-Е- 1)- 
матрица с элементами у;; = в1— =" (х). В сделанных пред- 


положениях @`имеет нормальное распределение со средним 9 
и ковариационной матрицей 


С=Е(0— 0).(0— 0)’ = о* (\' \)-1. 

Оценка для 0 строится стандартным образом как 
#=У(и: — 51 (4) (фт —1-—1), 
где $, (т) = ы "6, В: (х) ($7.1 или [14, п. 8. 6. 3]. 


= = 
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Из (10.20) следует, что в матрице С = 1|с;;|| для | — Л > 
> [ -- 1 с;; = 0, т. е. матрица имеет (27 - 1)-диагональный 
ВИД. 

Основные гипотезы, связанные с кубическими сплайн- 
функциями (/ = 3). Рассмотрим гипотезы о поведении сплай- 
на между узлами. 

Гипотеза 1: между узлами и; 1, и; кубический сплайн 
является квадратическим. Используя точки как знак диффе- 
ренцирования $3 (х) по х, эту гипотезу можно выразить как 


$3 (и;-:) —5з (и;) =0, (10.22) 


или в терминах В-сплайнов: 


У 9; (5;:—у)=0, или |5 9; ем | =. 


4—=—3 1=—3 


где 6; = В: (и), \; = В& (и;) — известные постоянные, за- 
висящие только от расположения узлов ш;, | = —3, ..., т - 4. 
Последняя формула может быть использована для построения 
Е-критерия для проверки (10.22). Обозначим О == (6-. — \-—з, 
... бт — т), Тогда в случае, когда гипотеза (10.22) верна, 
величина ЁО’99’О/О”(У”У)-10 5? имеет (1, п т-—4)-распре- 
деление. 
Гипотеза 2: на отрезке между узлами и; и и; ку- 
бический сплайн линеен. В использованных выше обозначениях 
эту гипотезу можно представить как 


$3 (и;-1) = 53 (и) =0 (10.23 
или 
(> 60, 5, (7 0; т, =0. 

Последняя форма удобна для построения Р-критерия. Обо- 
значим А = (6-., .... би), Г = (}-.....\т) и найдем расп- 


ределение двумерного вектора 7 = (А’0, Г’9)’. Вектор 2 
нормален, имеет (2 Хх 2)-ковариационную матрицу 0% (А, Г)’Х 
х (У’\У)-: (А, Г) и в случае, когда (10.23) имеет место, ну- 
левые средние. Поэтому для проверки гипотезы (10.23) может 
быть предложен критерий 


Е = 2’ (А, Г)’ (У’У)-" (А, Г): 2/25, 
где Ё имеет Р (2, п —т — 4)-распределение. 
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10.3.4. Билинейные сплайны. Наряду с одномерными сплайн- 
функциями в приложениях, особенно в экономике [114], по- 
лучили распространение простейшие сплайны, задаваемые 
с помощью прямоугольной решетки. Внутри каждого из пря- 
моугольников решетки они представляют билинейную функ- 
цию своих аргументов (х, и) 


2 = а- 6х -{ су + ау, (10.24) 


согласованную таким образом, чтобы 2 было непрерывной функ- 
цией (х, у) при переходе от одного прямоугольника к другому. 


Пусть на оси х выделено / -- 1 точек А„ = {ио, ш, .... ии 
на оси у / -- 1 точек А, = {%,%, ..., 9/}. 
Пусть далее 
х [ить если х > и; (1=1,...,/); 
# — 
0 ‚ если хи: 


ОО если у>и,— (1=1,...,4); 
0 ‚ если Хх, 
Шу =: у, 1=1,...,1, ]=1,..., 4; 
Х = (%1, ..., м)’; У=(уь ..., 91)’; М, = (а,.... 8)" 
\ = (У, ... , И’. 

Билинейным сплайном на А,, А, называется функция вида 
2=0-- А’Х--В’У-Г’УМ, (10.25) 


где А = (а1, ..., @1)’, В = (Ви, ..., ВЛ’, Г = (а, ... м — 
вектор-столбцы параметров размерности соответственно /, 
7, 17. Нетрудно видеть, что билинейный сплайн непрерывен 
и зависит от 1 -- Г -- У -+ ГУ параметров. Заметим, что если 
бы не. было условий согласования значений функций (10.24) 
на решетке, то сплайн зависел бы от 4// параметров. 

Пусть и; < шиу,—, < у < 9,. Представим 2 в ло- 
кальных координатах (% — и; 1) и у— 9—1): 


2= а) 6: (хи) с (уф) 
+ 4: ; (х— ш-1) (У—9;-—3). (10.26) 


Эта форма представления удобна для содержательной ин- 
терпретации двумерных сплайнов. 
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Существует простая связь между представлениями (10.25) 
Ат) плаина. Пусть А = в], В = ПЫЛЬ © = ПелЬ 
— #71 


9 В. В/ 
— Ч Та }1/ 
(ИНЫМИ еее... 
Ч уп "1. 

1 Чо 0 0 0 0 

1 а 0 0 0 0 

| И? Чо — И! 0 0 0 

ХИ | ма 1—1 НЦ 1—0 

О 1 | 0 .0 0 

01 1 1 0 0 


и матрица У размерности 2/Х (/ -- 1) определена аналогич- 
но Ц с заменой элементов и; на 9;, тогда [114] 


пу" [в Ч 
во 
ВЫВОДЫ 


1. Непараметрический подход к оцениванию регрессии позво- 
ляет ослабить ряд основных предположений регрессионного 
анализа: 1) требование априорного знания с точностью 
до неизвестных значений параметров аналитического вида 
регрессионной зависимости Е (и|Х) и 2) требование постоян- 
ства (для всех значений регрессора) дисперсии случайной по- 


грешности Е ((у — Е (и|Х))*|Х). В простейшем случае т — 
непараметрическая оценка Е (у|Х.).— стронтся следующим 
образом: выбирается О (Х,) — некоторая окрестность Х.; вы- 
деляются все пары наблюдений (у;, Х;), такие, что Х; ЕО (Х.); 
пусть таких пар будет А и и = Ху,;, где суммирование прово- 


дится по всем выделенным парам, тогда т = и/№. При выборе 
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диаметра О (Х.) приходится уравновешивать два источника 
погрешности: при увеличении диаметра растет отклонение 
Е (и|Х) от Е (%и|Х.), а при его уменьшении падает эффектив- 
ность оценивания. 

2. Использование традиционных регрессионных моделей (ли- 
нейных при многомерном Х и параболических в одномерном 
случае) в применении к относительно большим подобластям 
изменения регрессора позволяет сочетать простоту расчетов, 
свойственную классическим моделям регрессии, с эффективным 
использованием выборочной информации. Эти методы получи- 
ли название локально параметрических. 

3. В последние годы для описания регрессионной зависимости 
стали широко использоваться сплайны. Сплайчом называют 
конечную совокупность гладко склеенных между собой поли- 
номов, каждый из которых определен на своей подобласти из- 
менений регрессора. Подобно локально параметрическим ме- 
тодам оценивания сплайны позволяют удачно сочетать до- 
стоинства локальных методов (уменьшение смещения оценки) 


с высокой эффективностью параметрических процедур оце- 
нивания. 


Глава 11. ИССЛЕДОВАНИЕ ТОЧНОСТИ 
СТАТИСТИЧЕСКИХ ВЫВОДОВ 
В РЕГРЕССИОННОМ АНАЛИЗЕ 


После реализации этапов 1-6, связанных с построением оцен- 


ки (аппроксимации) } (Х) для искомой регрессионной зависи- 
мости { (Х) = Е (1$ =Х) (см. $5 В.6), исследователю необхо- 
димо ответить на вопросы: какова точность полученной им 


оценки (аппроксимации) | (Х) и, в частности, как определить 

ту гарантированную (с заданной доверительной вероятностью 

Р) величину погрешности, за пределы которой мы не выйдем, 

восстанавливая неизвестные нам значения параметров @,, ис- 

тинной функции регрессии ] (Х) или анализируемого резуль- 

тирующего показателя \ (Х) = (п! = Х) по значениям оце- 
— — 


нок соответственно 9, и [{(Х). 

Достаточно исчерпывающие и теоретически обоснованные 
ответы на эти вопросы мы в состоянии дать лишь в рамках схе- 
мы, постулирующей, что: а) выбор класса Е допустимых ре- 
шений (т. е. выбор общего параметрического вида функцин 
регрессии [ (Х)) осуществлен удачно, а именно: } (Х) Е Е; 6) 
имеется априорная информация о вероятностной природе 
например, о типе закона распределения) регрессионных ос- 
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татков = в моделях вида (В.14), (В.16) и (В.21). Будем назы- 
вать эту схему идеализированной. Если же у нас нет оснований 
рассчитывать на выполнение постулатов а) и 6) (что, к сожа- 
лению, и бывает в большинстве реальных ситуаций, а потому 
будем называть эту схему реалистической), то получить сколь- 
ко-нибудь законченные и теоретически обоснованные резуль- 
таты по оценке точности статистических выводов в регресси- 
онном анализе не удается. В этом случае можно предложить 
лишь некоторые полуэвристические приемы и рекомендации, 
нацеленные на приближенное решение данной. задачи. 


11.1 Линейный (относительно оцениваемых 
параметров) нормальный вариант 
идеализированной схемы 
регрессионной зависимости 


В данном параграфе рассматривается регрессионная модель 


зависимости случайного результирующего показателя и от 
неслучайных объясняющих переменных &=(Ё%, ЕЁ), ..., ЕР)’ 
вида 
т 
1 = У 6$, (© +=, (11.1) 
&=0 


где {4фь (2)}, оз — система известных (базисных) функ- 
ций (в частном случае тр, (Е) = 1, 1, (=) = &® для в = 1,2, 
.... р), 9 = (6%, 0,, ..., 0)’ — неизвестные (подлежащие оце- 
ниванию) параметры, а остаточная случайная компонента = 
подчиняется нормальному закону распределения со средним 
значением Её = 0, и с дисперсией (вообще говоря, неизвест- 


ной) Эё = о*, т. е. 
2 СМ (0, о’). (11.2) 


Отсюда, в частности, следует, что истинная функция гег- 
рессии { (Х) = Е (|5 = Х) имеет вид 


Г(Х) =КХ; 9) = в, фь (Х) - 6, $, (Х) -- ...9 т Фи (Х), (11.3) 
т. е. является линейно зависящей от неизвестных параметров 
@9 (форма ее зависимости от Х определяется выбором системы 


базисных функций {фь (Х)} пи. ) 
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Соотношение (11.1) определяет связи между имеющимися 


наблюдениями { (Х:у:)}, _ г вида 

У=хоО-г,, (11.4) 
где У == (у, 9., ..., Уь)’ — вектор-столбец наблюденных зна- 
чений результирующего показателя, $ = (21, &», ..., #.)’ — век- 


тор-столбец ненаблюдаемых регрессионных остатков, а 


фо (Х) $, (Х 1 ... Фи (Ха) 
Х —= ро (Х,) 4. (Х.) ... Фи (Х.) 


фо (Х») р: (Х„) ... фт (Х») 


матрица плана, т. е. матрица значений базисных функций в 
наблюденных точках предикторной переменной. При этом по- 
стулируется, что нормально распределенные регрессионные 
остатки 1, &., ..., #, взаимно некоррелированы, т. е. что их ко- 


вариационная матрица У = (Е (2:21); га имеет вид 


У = о?. 1, (11.5) 


где Г,, как обычно, единичная матрица размерности п Х п. 
Из (11.2) и (11.5) имеем 


=ЕМ, (0, о?-1,). (11.9”) 


Предполагается также, что этап выбора общего параметрн- 
ческого вида искомой зависимости (этап 4, см. $ В.б) реализо- 
ван удачно, а именно: в качестве класса допустимых решений 
Е определено семейство, «накрывающее» истинную функцию 
регрессии (11.3), т. е. 


Е = {9,4 (Х) 6, 4, (Х) |... -- 9 фи (Х)} ог , (11.6) 
и, следовательно, 
НХ) =Е (= ХР. (11.7) 


Модель, определяемую соотношениями и условиями (11.1), 
(11.2), (11.4) и (11.5), будем называть линейным (относительно 
оцениваемых параметров) нормальным вариантом идеализи- 
рованной схемы регрессионной зависимости. (идеализация, 
как было отмечено, заключается в постулировании редко вы- 
полняющихся в статистической практике допущений (11.7) 
и (11.2)). 

11.1.1. Основные свойства оценок метода наимевымих ква- 
дратов. Напомним (см. гл. 7—9, а также {14, п. 8.6:8}}, что 
—> 


оценки 9 неизвестных параметров 9 = (0, 0,, ..., 0)’, уча- 
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ствующих в аналитической записи искомой функции регрес- 
сии |] (Х; 9), определяются, в соответствии с методом наимень- 


ших квадратов, из условия минимизации (по ©9 } выборочного 


критерия адекватности А, = А, (9), построенного на базе 
квадратичной функции потерь о (и) (см. в5 5.2 формулу (5.4") 
и п. 1). Применительно к рассматриваемой в данном парагра- 


фе схеме это приводит к задаче минимизации (по 9) выраже- 
НИЯ: 


=’ === ПА, (0) = У(^- у 9, фа (Х; ‚| - 
1—1 

—(У—хб)' (У—х 6) =У’У—90' ху х'хб (11.8) 

При получении правой части (11.8) использовалось что 


9’х’У = (@9'Х’У)' = У’Х@. Дифференцируя (11.8) по 9 и 
приравнивая полученный — вектор-столбец — производных 


9 (= =)/д0 к вектору О, состоящему из одних нулей, приходим 


к системе уравнений относительно @ = (9, 0,, ..., бт)’: 
—2х'У-2х'Х90=0 

ИЛИ 

хх90= ху, 

откуда получаем! 

9 — (х'х)-1х'У. (11.9) 


Перед тем, как перейти к описанию основных свойств мнк- 


— 
оценок @9, выразим их, подставляя в (11.9) значения У, пред- 
ставленные в виде (11.4), через истинные значения параметров 
© и регрессионные остатки &: 


9 = (Х'Х)-1Х' (Х@-+ г) = (Х'Х)-1 (ХХ) 0 + 
+ (Х’Х)-1Х'==0-+(Х’Х)-1Х ' =. (11.10) 
Легко убедиться, что решение (11.9), являющееся, вообще гово- 


ря, лишь стационарной точкой квадратичной формы (11.8), в данном 
случае является ее точкой минимума. Для этого достаточно восполь- 


зоваться тождеством (У — Х9)' (У — Х@) = (У — Хб@)' (У — Х@) + 
-- (90 —9)’ХХ (0 — 0), из которого видно, что левая часть достига- 
ет минимума при ®@ = 69. 
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Используя (11.10), легко получить следующие статисти- 
ческие характеристики для мнк-оценок ®. 


Несмещенность мнк-оценок 9. Применяя оператор теоре- 
тического усреднения к левой и правой частям (11.10), полу- 
чаем 


Ед = 0+ (Х'’Х)-1Х'.Е, 


что, если учесть Её = 0, и доказывает несмещенность оценок 
91. 

Ковариационная матрица мнк-оценок ©. Как известно, 
точность оценок, их эффективность [14, п. 8.1.5] определяют- 
ся характером их выборочного распределения, и, в частности, 
мерой их случайного разброса относительно истинных значений 
оцениваемых параметров, который мы наблюдали бы при пов- 
торениях выборок и принятой процедуры оценивания. В свою 


очередь эта мера случайного разброса значений оценок © от- 
носительно истинных значений 9 определяется в первую оче- 
редь их дисперсиями и ковариациями, т. е. их ковариацион- 


ной матрицей 2 = Е [© — 9) (9 — 9)'|1. Подсчитаем кова- 
риационную матрицу 7, используя (11.10) для выражения 


разности 9 е: 


5 =Е (9—6) (6—09)1=Е {(Х’Х)-2 Х'=] (Х' Х)-1Х' 21} = 
= (Х’Х)-1Х’.Е (22”).Х (Х’Х)-1 


(при переходе к правой части мы воспользовались прави- 
лом транспонирования произведения матриц и симметрич- 
ностью матрицы (Х’Х)-'. Если теперь учесть, что ковариа- 
ционная матрица У == Е (2=’) регрессионных остатков про- 
порциональна единичной (см. (11.5)), то в конечном счете 
получим 


26 = 0? (Х'Х)-!, (11.11) 
где 09° = Оё, а Х — определенная выше матрица плана 


1Здесь и в дальнейшем мы пользуемся возможностью выносить вы- 
ражения, зависящие от матрицы плана Х, из-под знака теоретического 
усреднения Е в соответствии с известным правилом: Е (сЁ) = с. ЕЁ 
(где с — неслучайная величина), поскольку величины фи» (Х;) в рас- 
сматриваемой идеализированной схеме не являются случайными. 
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Оценка 0? для дисперсии 0? регрессионных остатков. Оцен- 
ка для 0*, полученная с помощью метода максимального прав- 
доподобия [14, п. 8.6.1], имеет вид [119, формула (4.8)| 


эту и х 8, 4, (Х) уху хе), 


{—=1 


однако она оказывается смещенной. В частности, можно пока- 
зать [119, $ 3.31, что, взяв в качестве оценки для 0? величину 
> п > ] 


0-м (у Х0)'.(У—ХО), (11.12) 
п т— 1 


я—т— | 


мы добъемся несмещенного оценивания этого параметра. 


Состоятельность оценок © ин 0*. Она определяется структу- 
рой матрицы плана Х. Пожалуй, наиболее удобным (для при- 


ложений) условием состоятельности оценок © и 0” является 


—^м — 
следующее [119, $ 3.2]: оценки © и о? состоятельны тогда и 
только тогда, когда наименьшее собственное значение матри- 
цы Х’Х стремится к бесконечности при п -— ©. 


Оптимальность оценок "9 и о*. Можно показать, что в ус- 
ловиях рассматриваемой идеализированной регрессионной 


схемы оценки 0, (&=0, 1,2,..., т) и 0”, определяемые соотно- 
шениями (11.9) и (11.12), являются эффективными [119, $ 3.3], 
т. е. имеют минимальную дисперсию среди всех несмещенных 


оценок. Тем же свойством обладает и величина }(Х) = 


= 1 (Х; 9) = деф, (Х) -| диф, (Х) Е... + 0» $(Х), — рас- 
сматриваемая как оценка истинной функции регрессии } (Х; 


9) = 9, (Х) - дир, (Х) - ... - 9.» (©). 
Распределение оценок регрессионных параметров. Харак- 


тер случайного варьирования оценок 6, о и й (Х) около 
оцениваемых ими величин соответственно 0, 0? и} (Х) описы- 
вается лишь приближенно их ковариационной матрицей и дис- 
персиями. Исчерпывающую же информацию о характере этого 
случайного варьирования доставляют ‘соответствующие зако- 
ны распределения вероятностей. 

Нетрудно убедиться, что в рамках рассматриваемой в дан- 
ном параграфе идеализированной схемы справедливы следую- 
щие утверждения: 
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а) оценки 9 подчиняются (т -- !)-мерному нормальному! 
распределению №. (©, > 5) с вектором средних значений 9 


и с ковариационной матрицей (11.11), т. е. 


Ем. (0; 0?.(Х' Х)-1); (11.13) 


б) случайная величина (9 — 9)'Х'Х (9 — 9)/5? подчи- 
няется )?-распределению с т -- | степенями свободы, т. е. 


— (0—©)'.х'х.(0 — @ Ех (ти; (11.14) 


д- 


в) оценки © и 0” являются статистически независимыми; 


г) случайная величина (п — т — 1)0?/0? подчиняется у*- 
распределению с п — т — | степенями свободы, т. е. 


И В (пт 1. (11.15) 

д 

Действительно, поскольку 9 = СУ (см. (11.9)), аУ всилу 
(11.2’) и (11.4) подчиняется п-мерному нормальному распре- 
делению, то утверждение (11.13) следует непосредственно из 
того, что линейные комбинации нормально распределенных 
величин также распределены нормально [20, теорема 2.4.1]. 
Утверждение (11.14) является прямым следствием (11.11) и тео- 


ремы 3.3.3 из [20]. Статистическая независимость оценок ©@ и 


0* и утверждение (11.15) следуют, например, из теоремы 8.2.2 
1201. Полное доказательство сформулированных результатов 
можно найти также в [119, 53.4]. 

Замечание. Обращаем внимание читателя на тот факт, 
что допущение (11.2)—(11.2’) о нормальном характере распре- 
деления регрессионных остатков = используется лишь при 
выводе распределений оценок (11.9), т. е. при получении резуль- 
татов (11.13)—(11.15). Остальные свойства рассматриваемых 
оценок: несмещенность, состоятельность, оптимальность (но 
только в классе линейных несмещенных оценок), вид ковариз- 
ционной матрицы (11.11) — остаются в силе и при отказе от 


1Для простоты полагаем здесь, что матрица плана Х имеет полный 
ранг (т. е. ранг (Х) = т +- 1). Если это не так (т. е. если ранг (Х) < 
< т -{ 1), то все сформулированные в данном параграфе результаты 
остаются в силе с поправкой на соответствующее снижение числа сте- 
пеней свободы или размерности того пространства, о котором идет речь. 
Более подробно об этом см. [119, $ 3.8]. 
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нормальности остатков # (достаточно потребовать их одинако- 
вой распределенности, независимости и существования конеч- 
ных дисперсий ОЕ; = 0* < о5). 

11.1.2. Решение основных задач по оценке точности регрес- 
сионной модели. В $ В.6 сформулированы три основные задачи 
анализа точности регрессионной модели. Эти задачи сводятся 
к умению указать такие гарантированные (с заданной дове- 
рительной вероятностью Р) предельные величины погрешно- 
стей, за пределы которых мы не выйдем, если вместо неизвест- 
ных истинных значений параметров 60, (^ = 0,1,..., т), функ- 
ции регрессии {(Х) (при заданном значении предиктора Х) 
и анализируемого результирующего показателя \ (Х) = 
= (|8 = Х) (тоже при заданном значении предиктора Х) 


будем использовать их оценки соответственно 6,, Е (®) = 
= /(Х; в) и снова 1) = = [(Х; 9). 


Описанные в п. 11.1.1 свойства оценок 9 позволяют пред- 
ложить следующий способ конструирования этих предельных 
гарантированных величин погрешностей. 


Погрешность бр л (0,) в оценивании параметра 0,. Вос- 
пользуемся нормальной распределенностью оценки @» (см. 
(11.13)) и знанием ее среднего значения Е 6, = 6,, (см. свой- 


ство „несмещенности оценок © вп. 11.1.1) и дисперсии 00, = 
— 09° (ХХ) #ё (см. (11.11); здесь (Х’Х)ьи обозначает А-й диа- 
гональный элемент матрицы (Х’Х)-!). Это, с учетом статис- 


тической независимости © и о? и (11.15), позволяет утверждать, 
что величина 


1 (и—т— 1) — (6, — 6, )/° ((Х' Хак 1/2 


подчиняется [-распределению, или распределению Стьюдента 
(14, п. 6.2.2], ся — т — 1 степенями свободы. Следовательно, 
если задана величина доверительной вероятности Р, то, отыс- 
кав по табл. П.б 100 (1 — Р)/2%-ную точку Н-р п— т— 1), 


2 
мы можем с вероятностью Р Гарантировать выполнение нера- 


венства 


6, — в, | 
о И(х' ХЕ 
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< (п—т-— №, 


или, что то же, 


8, —6, | < 8». (0) _ 
где бр„(0,) = ИР (п—т— 1 о У(Х’Х);и. (11.16) 


Погрешность бр» (ср (Х)) в оценивании функции рег- 
рессии (при заданном значении Х предиктора). Обозначим 
Ч (Х) = ($, (Х), 4, (Х), ..., фь (Х))’ и вычислим, учитывая 


(11.1 и ЕР(Х) = РЁ (Х) то следует из несмещенности оценок 
9,, № = 0, 1,..., т), дисперсию оценки } (Х): 


ох) = (РО —ЕКХ= Е (Х). @ — 6) р 
= 4” (Х)-Е (0—0). (0—0)'1-4 (Х)= 
= 0* |4" (Х).(Х'Х)- 1.4 (Х). (11.17) 


Учитывая полученное выражение для оф (Х), несмещен- 
ность и пормальную распределенность оценки Т(Х) = 

—= 4’ (Х) . 9 (как линейной функции от мало распре- 
деленных случайных величин 6., 9,, .... От) И ее статисти- 


ческую независимость от о? (см. п. 11.1.1), а также (11.15), 
получаем факт Ё(п — т — 1)-распределенности случайной 
величины 
— ТОО-ЕХ 
6 (п—т— 1) == КО -Г® 
со УЧ' (Х)- (ХХ) Ч (Х) 

Следовательно, можно гарантировать с заданной величиной 

доверительной вероятности Р выполнение неравенства 


[п-т] ЗА _ви—т-— 1), (11.18) 
2 


где № (\) — 100&%-ная точка распределения Стьюдента с % 
степенями свободы (определяется из табл. П.6б). Очевидно, 
что (11.18) равносильно неравенству 


= 


700 —ЕХ)| < в, в (ур (Х), 
где 
бр, (ср (Х)) = (11.18') 


=Н_р (п—т-— 1)-6.ИЧ(Х)-ОХ-ЕО, 
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выполнение которого гарантируется с заданной доверительной 
вероятностью Р. 

Погрешность дбр.„ (1 (Х)) в восстановлении «индивидуаль- 
ного» значения результирующего показателя (при заданном 
значении предиктора). В данном случае нас интересует оценка 
сверху для величины погрешности, которую мы можем допус- 


тить, восстанавливая (прогнозируя) с помощью ] (Х) неизвест- 
ное значение результирующего показателя 1] (Х) при заданном 
фиксированном значении Х предикторной переменной. Дру- 
гими словами, статистическому анализу следует подвергнуть 


величину } (Х) —т (Х). Принимая во внимание ЕР (Х) = 
= Ем (Х) = р} (ХУ, (11.2) и статистическую независимосль ве- 


личин = (Х) = т (Х) — [(Х) иё= (и: — 10), и- Г, 


...) Ув —Р(Х,))', 
имеем 


— — 


Е (Г (Х)—я (Хх) -= Е ()—НХ)) —(@ (ХЕХ -= 
=Е((Х)—1(Х) + Е #2 (Х) = БАХ) +0, 


где дисперсия в; (Х) определяется соотношением (11.17). 
Учитывая (0, в". [1 + Ч” (Х) (Х’Х)-*Ф (ХУ)-нормальную 


распределенность погрешности }(Х) — м (Х) и ее статисти- 


ческую независимость от о’ (см. в) вп. 11.1.1), получаем 
факт Ё[(п — т — 1)-распределенности случайной величины 


5 (п—т—=(ЕКХ)—п1 (ХИТ (ОУ О. 


Следовательно, задавшись величиной доверительной вероят- 
ности Р и определив из табл. П.б величину 100 (1—Р)/2%- 
ной точки распределения Стьюдента с я — м — | степенями 
свободы Ё1_р (п — т — 1), можно гарантировать (с вероят- 


ностью Р) выполнение неравенства 
5 (п—т— 1) А _р(и—т- 1, 
2 
или, что то же, 
ПО) —пт (< и- (п—т— 1.0 х 


хуи1-- 4" (Х). (Х'Х)-1 Ч (Х). (11.19) 
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Замечание (о построении доверительных областей). 

Хотя и весьма редко, но возникают ситуации (в частности, 
при статистическом анализе и управлении ходом технологи- 
ческого процесса), когда требуется дать оценки погрешностей 
вида (11.18’) и (11.19), которые были бы справедливыми с за- 
данной доверительной вероятностью Р одновременно для це- 
лого множества А значений предикторной переменной Х, т. е. 
для всех Х СА. В таких ситуациях говорят о построении 
доверительных областей для }(Х) (или т (Х)) при Х ЕА. Обоб- 
щение оценок (11.18'), (11.19) на этот случай можно найти в 
(119, гл. 5]. 
11.1.3. Случаи линейной (по предикторным переменным) и 
полиномиальной регрессии. Воспользуемся полученными в пре- 
дыдущем пункте рекомендациями для анализа точности моде- 
лей линейной и полиномиальной регрессии. Нас будет инте- 
ресовать, в частности, конкретизация формул (11.18°) и (11.19) 
в этих случаях. 

Парная линейная регрессия. Рассматривается модель вида 
(11.1), в которой размерность предиктора р = 1, а система ба- 
зисных функций задается соотношениями: фу (х) == 1; 4$: (х) = 


= х, так что в конечном счете анализируется зависимость ви- 
да \ = 0, -+ 0,2 -+- = или 


у; == бо 0, х; - =. (11.4°} 
Тогда 
у х1 7) ПХ 
С |.х_ 11% у, — _ т . 
а В Ум | 
Уп 1 Хь 1—1 
(ХХ) =—— Уж 
У: —) = ) 
— —х | р 
пу 
ХУ -= | < 
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— в — п 
где х = УхИп и у= Уу/п — арифметические средние зна- 
=1 =] 


чения наблюденных величин предиктора х и результирующего 
показателя у соответственно. 
Далее 


+" (Х) (Х'Х)-1 4 (Х) = (1х). Хх 


так что (в соответствии с (11.18°) и (11.19)) с вероятностью Р 
будем иметь выполнение неравенств (при заданном фиксиро- 
ванном значении предиктора х): 


(6, +, 4) —( + 9, | <Н_2(и—2) х 
2 
хо. а И (11.18”) 


(6-8, х) —п (> |< Н-г(и—2)х 
2 


— | | —х)? 
х о. / Я (11.19’) 
У (1 —х)" 
1—1 
где &, (\), как и прежде, 100&% -ная точка распределения Стью- 


— 
дента с у степенями свободы; 0* — оценка остаточной диспер- 
сии (см. (11.12)), т. е. 


п 
> | — —^ 
0* = —> У, (у: —0,—6, х;)?, 


$=1 


а "6, и "6, — оценки наименьших квадратов неизвестных коэф- 
фициентов 6. и 0, (см. (11.9)), т. е. 


8, =у— 8-х; 


$ (и:—9) 9) 


= 
9, = - 
1 п 


У, (х —х)* 


1—1 


Из (11.18”) и (11.19'), в частности, видно, что: а) величина 
погрешности и в том и в другом случае зависит от того, при 
каком именно значении предиктора х производится оценка, 
причем эта погрешность (и соответственно ширина доверитель- 
ного интервала) увеличивается по мере удаления заданного 


значения х от среднего арифметического х и наблюденных зна- 
чений предикторной переменной; 6) погрешность оценивания 
неизвестной функции регрессии } (х) = 0, -- 0:х пропорцио- 


нальна величине о/\ п и, следовательно, неограниченно убы- 
вает с ростом объема выборки (п), по которой производится 
оценивание; в) погрешность оценивания индивидуального (а 
не среднего) значения результирующего показателя т (х) = 
—= (| = х) с помощью вычисленной по методу наименьших 


.—^— —^ — 
квадратов функции регрессии } (х) = 0, + 0,х при неогранн- 
ченном увеличении объема выборки (т. е. при п -» со) в отли- 
чие от предыдущей погрешности не убывает до нуля, но стре- 
мится, как это и должно быть (в соответствии с допущением 
(11.2)), к величине (1 — Р)/2%-ной точки (0, в")-нормального 
распределения, т.е. к величине и! +4р- о (поскольку, как из- 
2 


вестно [71], # (у)-распределение сходится к стандартному нор- 
мальному при %\- <, а следовательно, при п-ою, 


#1 -Р(п— 2) и ИР, где иа—9 квантиль стандартного нор- 
2. 


мального распределения: а 0-01 = Рё в силу состоя- 
тельности о°). 

Множественная линейная регрессия. Обобщим модель 
(11.4’) на случай р (р >> 1) предикторных переменных Х = 
— (х(®), х(®),..., хФ) )’. Запишем исследуемую модель \ = 
= 0, + 6,20) +... + 0, -- = в терминах центрирован- 
ных наблюденных переменных, т. е. 


у:—9= 0, -(х №) — (+... 0› (хх — х®) вн. (11.4) 
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Тогда получаем следующую интерпретацию общих обозна- 
чений п. 11.1.Ё и 11.1.2: 


и—у 
| О в=0,..,р— И; 
Уп — 


1 — (1 2 — (2 — 
К Та хо ФФ 


1 — (1 2 — — 
хх — к Фр СФ 


и_-а) 42) 72 _ 
х И х( ох ХР) 


п 
1 ( (4) (ХФ 70 
ХХ = (п0,;), т, Где с,;= — хх 
выборочные ковариации переменных х“*“) и х() [14, п. 5.6.7]. 


Соответственно 


(Х'Х)-! = — (0.5), — 
п &, |= 


1, р 


где о(®`Р — (&, )-й элемент матрицы, обратной к выборочной 
ковариационной матрице предиктора Х. 
Таким образом, 


4” (Х)-(Х'Х)-1 Ч (Х)= = хо ..х® 


5.07.2) ба.) ха) — т) 
—т®). "9 (2.1) 7542.2) Та.) хх | _ 
Е — — — = 
(2:1) "04.2  Гор-Р) (р) — х{Р) 


р р — 
„х р (9 —х®) (хФ— 9). ор. 


Поэтому в соответствии с (11.18’) и (11.19) с вероятностью 
Р можно гарантировать выполнение следующих неравенств 
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при заданном фиксированном векторном значении Х = 
— (х(1), х@),..., х))’ предикторных переменных: 


|5 У 6, (х(® —х®))— У 0, (х® —х®)| < 
Е =1 


^^ ЁЖ——Ш—Ш—Ш—ШшШшШ—Ш6—б—— 
<В_ь(п—р). = ЧИ У У (х—х(®)) (хх) о(ё- у 
— п 


о в=1]=1 


(11.18””) 


р —> — — 
У 6, (х® —х®) —(п(Х)—Е1)| < _"—р)-6 Хх 
=] — 
2 
а Е: _ о 
х у" 1+ — р р (к — к) (хФ — 0) ор . (11.19”) 
п 


Предварительный переход к центрированным переменным 
обусловил то, что правые части (11.18”) и (11.19”) яе учиты- 
вают погрешности в оценке неизвестного теоретического сред- 
него а’ = Ез. Модификация левых и правых частей (11.18”) 
и (11.19”), соответствующая возвращению к исходной (нецент- 
рированной) записи модели, заключается в следующем: в левые 
части неравенств надо прибавить (внутри прямых скобок) ве- 


личину у — аъ, а в правые части (под знак радикала) — соот- 
ветственно единицу и 1/п, изменив в обоих случаях число сте- 
пеней свободы у процентной точки {-распределения на п — 
—р— 1. Нетрудно увидеть, что записанные в таком моди- 
фицированном виде неравенства (11.18”) и (11.19”) дают в 
качестве своего частного случая при р = | неравенства 
(11.18") и (11.19°). 

Полиномиальная регрессия. Рассмотрим случай скаляр- 
ного (т. е. одномерного, р = 1) предиктора х, и пусть искомая 


функция регрессии ] (х) принадлежит классу алгебраических 
полиномов степени т, т. е. 


(= х-... НВ хт, 


Ограничимся для определенности случаем т = 2 (пере- 
ход к общему случаю т >> 2 осуществляется очевидным обра- 
зом без каких-либо затруднений) и представим функцию рег- 
рессии в системе базисных функций {фо (х), ф, (х), ф» (х)}, 
являющихся ортогональными (на совокупности наблюденных 
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значений предиктора (х\, х.,..., Хх.) полиномами Чебыие- 
ва (см. гл. 7, а также [10, с. 131; 77, с. 275], т. е. 


1 = 9% фо (5) +60, $, (& +0, ф, (Е) +в, 


где 
о (х) = 1; 
4, (х)=х—х; 
п _ п 
У, х—х хр | п 
=} И 
$. и хх. 
ХР — пх* =1 


=1 


Взаимная ортогональность полиномов 1; (х) (на системе 
наблюдений х,, х., ..., Х„) означает, что 


У +, (х)-ь (д) = 0 при 152, 
=] 


что обеспечивает диагональность матрицы Х’Х. В частности, 
имеем 


Уно) 0 6 
$=1 
ХХ = 0 У 11 (х;) 0 . 
#=1 
0 о У 


=] 


(Х’Х)-1 = 0 (5 р (=) 0 


| о (5 и д) 
2=] > 


-—^щ 
Полученные в соответствии с (11.9) мнк-оценки 0, = 


= >, у: * Фь («ух (х:;) (Е = 0,1, 2) оказываются статисти- 
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Ре 
чески взаимно независимыми и имеют дисперсии 06, = 
п 
= 0. (5 (х:))-*. 


Учитывая, что в данном случае 


2 ах 
+ (9-Х): = У | Бах } 


в=о\ » 42 (х;) 
{=1 


можно (в соответствии с (11.18’) и (11.19)) гарантировать с 
вероятностью Р выполнение неравенств (при заданном значе- 
нии Хх): 


2 


У, "6, -фь (х)—/(х) 


х=0 


_› п—З). вх 
2 


у ие 


Е о р фе (хг) 


— 


2 —м— 
| У, @,-чфь (х) —т (х) 
Г 


< _, (п—З).6х 
2 


уе 


#0 вх 4? (х:) 
где 
в? = -У (у — в — 6, ф, (21) — 65 Ф» (1), 


1—1 


а [, (*) — 100&%-ная точка распределения Стьюдента с % 
степенями свободы (определяется из табл. П.б). 
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11.2. Нелинейный нормальный вариант 
идеализированной схемы 
регрессионной зависимости 


В данном параграфе исследуются вопросы точности регресси- 
онного анализа применительно к общей параметрической мо- 
дели регрессии, в которой наблюденные значения у; и Х; = 
= (х@”, ..., х(Р))’ соответственно результирующего показа- 
теля ч и объясняющей (неслучайной) переменной & = (Е), 
..., Е(Р))’ связаны соотношениями 


у =р(Хь 6%, 6,, ..., От) На, {= 1,2, ..., п. (11.20) 


При этом постулируется выполнение следующих допуще- 
ний: 

1) выбранный исследователем класс допустимых решений 
Е содержит в себе искомую функцию регрессии } (Х; 9) = 
= Е (1! = Х), т. е. 


Г(Х; 9) ЕЕ; (11.21) 


2) регрессионные остатки е == (ви, &., ..., е,)’ несмещены 
относительно нуля, взаимно некоррелированы и одинаково 
(0; о?)-нормально распределены, т. е. 


2ЕМ (0; ©* - В); (11.22) 


3) искомая функция регрессии ] (Х; 9) нелинейно зависит 
от подлежащих статистическому оцениванию параметров 9 = 
— (6,, 0,, ..., 0), однако характер этой зависимости доста- 
точно гладкий (например, существуют всевозможные вторые 
производные от [(Х; 9) по параметрам 6,, 6, К, } = 0, 1, 
.... т). 

Напомним, что главным (принципиальным) пунктом «идез- 
лизации» анализируемой схемы является первый, т. е. до- 
пущение (11.21). Два других носят, скорее, полутехнический 
характер. 

Относительная сложность решения различных вопросов 
точности регрессионного анализа (по сравнению с предыдущим 
линейным вариантом) состоит в том, что в данном случае мнк- 


оценки @9 неизвестных параметров 9 определяются не в виде 
явных аналитических выражений (ср. с (11.9)), а лишь в ходе 
итерационных алгоритмических процедур (см. гл. 9), что су- 
щественно затрудняет исследование их свойств. В основе 
обычно используемых в данной схеме подходов — разложе- 
ние в ряд Тейлора (по параметрам ® в окрестности наилучшей 
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оценки 9) оптимизируемого критерия адекватности А ({(Х; 
9)) = А (60) (см. гл. 5 и 9) и искомой функции регрессии 
Г (Х; 0). 

11.2.1. Основные свойства мнк-оценок. Поскольку мнк-оцен- 


ки 9 параметра 9 в условиях (11.20)—(11.22) совпадают с 
оценками максимального правдоподобия [14, п. 8.6.1; 25, гл. 4], 
то мы можем воспользоваться общими результатами о свойст- 
вах последних. Из них, в частности, следует, что мнк-оценки 
— 


9 регрессионных коэффициентов 9 модели (11.20) являются 
(при условии соблюдения упомянутых условий) состоятель- 
ными, асимптотически-несмещенными, асимптотически-эффек- 
тивными и асимптотически-нормальными (асимптотика по 
п — 05). 

Для того чтобы перейти непосредственно к решению задач 
анализа точности нелинейной регрессионной модели, нам не- 
обходимо получить предварительно выражение, аналогичное 


—^ 

(11.11), для ковариационной матрицы 2-5 мнк-оценок ©. 
С этой целью воспользуемся разложением функции регрес- 
сии | (Х;; 9) в ряд Тейлора в окрестности точки 9 = ©, (где 


© — мнк-оценка параметра 9, полученная с помощью про- 
цедур, описанных в гл. 9), ограничиваясь линейными членами 
разложения: 
. & ©)’. 0" (Ак_9) 
Е(Х‚; 9) = Г(Хь, 8) + (9—0). ——— 
99 — 
ео = © 
или, в обозначениях гл. 9 (см. п. 9.3.1): 


|: (0) =Ё (60) +@-—°6)'.4,, (11.23) 


где /: (9) =/(Х;; @) ий = (04/06, ..., 91/90)". 
Выражение (11.23) для произвольного значения Х дает: 


(Хх; 9)— [(Х; 6) = (@ —8)'.}. (11.24) 
Введение обозначений 1р, (Х) = а 
| 


— 


9 
9) 


= © 
9-© —6; 7х; 9) =/(Х; 9--9) —1(х; 9); 
У (Х) =Р = (№ (Х), 1 (Х), -..‚ $. (Ху 
позволяет записать выражение (11.24) в виде 
(ХХ; б)= 0’. (Х) (11.24’) 
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и свести, таким образом, нелинейную модель (11.20) кее ап- 
проксимации линейной схемой, рассмотренной в предыдущем 
параграфе. 

Решение задач анализа точности регрессионной модели 
основано на исследовании точности оценок 9 и отклонений 


(Хх; 9) — АЦ; 9). Примем во внимание приближенные со- 
отношения (11.24) и (11.24”), равенство ковариационных мат- 


риц оценок © и © (т. е. Х; = Х5) и возможность использова- 
ния обычного приближенного приема вычисления вторых мо- 
ментов статистических оценок, когда в полученные выражения 
для этих моментов, зависящие от неизвестных значений оце- 
ниваемых параметров, вставляются их оценки. Тогда можно, 
опираясь на результаты предыдущего параграфа (см. также 
[25, $ 7.5]), получить следующие выражения для ковариаци- 


онной матрицы >= оценок © и для ее оценки 2: 


2 -:. Я д, а. 71 
2 = 0*.Мё; = 0.М5, (11.95), (11.26) 
где 
У (и КХЕ 60); (11.27) 
пт—] 


=] 


Ме: = У Мо: (Х;); 


=] 


—/9(Х;; 9) \ д (х;; 9) д/(х,; 9) 
96% 90» === 90, `”° 
ОХ 9) ах) [/(Хн 0) 

Ме: (Х;) =: 90 = 00. 00, 


(х;; 9) д(х;; 90) эх; 9) Ех; 9) 


_ 090% 96, 90т 90, 
д1(Х;; 9) ОГ(Х,, 9) ^ 
90, 00т 
др (Х;; 9) о/(Х:; 9) 
90, 90 
ОЕ(Х ;; 9) } 
90 т _ 
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причем производные, участвующие в выражении элементов 


матрицы Мо. (Х;}, берутся в точке 9 = 8В*, т. е. 


(Хх; 9) (Хх, 9) _ ЭГЕ(Х; 0) ‚ ОР(Хь, 9) 


90; 90, 00, ео. 90; 


К, 1=0, ]. ...з 1, 9* = 0, ©. 


11.2.2. Решение основных задач по оценке точности нелиней- 
ной регрессионной модели. Подчеркнем два главных отличия 
данного случая от линейного, рассмотренного в $ 11.1. Во- 
первых, используемые для построения доверительных интер- 


валов свойства состоятельных мнк-оценок 9 — несмещенность, 
оптимальность, нормальность, а также свойства 6), в) и г) из 
п. 11.1.1 справедливы лишь в асимптотическом (по п- со) 
смысле. Во-вторых, следует учитывать приближенный харак- 
тер базовых соотношений (11.24) и соответственно (11.25) и 
(11.26). Следует признать, что возможны различные уточнения 
описываемого здесь приближенного подхода [161]. Однако вряд 
ли они существенно усовершенствуют предлагаемые в дан- 
ном параграфе практические рекомендации: ведь даже так 
называемые точные критерии и доверительные интервалы на 
практике оказываются всего лишь приближенными (они точны 
лишь в той мере, в какой соблюдаются в реальной ситуации те 
идеализированные допущения, на которых строятся соответст- 
вующие статистические выводы). Поэтому, говоря о том, что 
интересующая нас погрешность не превзойдет определенной 
величины с доверительной вероятностью, например, равной 
0,95, мы должны всегда отдавать себе отчет в приближенном 
характере подобных заключений. 

Учитывая сделанное замечание, читатель может использо- 
вать для приближенного решения трех основных задач оценки 
точности нелинейной регрессионной модели соотношения 
(11.16), (11.18°) и (11.19) предыдущего параграфа с заменой: 


матрицы (Х’Х) матрицей М. (см. (11.28)); оценки 0? оценкой, 


подсчитанной по формуле (11.27); вектор-столбца Ф (Х) век- 
тор-столбцом 


(ХЕ (хе) а/(х. 9) — д1(х. в) 
5% == 98, 90 
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11.3. Исследование точности 
регрессионной модели 
в реалистической ситуации 


Неточный выбор общего вида функции регрессии, приводя- 
щий к нарушению базового допущения (11.21), на которое су- 
щественно опираются все выводы по оцениванию точности 
регрессионной модели, может заключаться как в неполном или 
избыточном представлении набора объясняющих переменных 
х0), х(2),..., ХР), так и в искажении самой структуры моде- 
ли. Наиболее неприятные последствия влечет второй тип ошиб- 
ки’. В этом можно убедиться при рассмотрении примера 6.2, 
а также примера, представленного в табл. 6.2 и на 
рис. 62. Действительно, анализируя данные табл. 6.1 (в 
которой представлены результаты расчетов по примеру 6.2), 
мы видим, в частности, что при использовании формально-ап- 
проксимационных вариантов регрессионной модели (т. е. в 
ситуации }(Х) 6Е Е) оценки среднеквадратической ошибки 


остатков (0), полученные по формуле (11.27) по данным той же 


самой выборки, по которой вычислены и оценки 9 неизвестных 
параметров модели, дают более чем в 3 раза заниженные (по 
сравнению с действительными) значения (см. графы 4 и 6). 
Более того, из примера, представленного на рис. 6.2 (ив 
табл. 6.2), следует, что значение выборочного критерия адек- 


ватности А, (пропорционального величине 07) вообще может 
быть нулевым (!), в то время как ошибки восстановления не- 
известных значений функции регрессии | или результирую- 
щего показателя т по заданной величине предиктора х могут 


быть практически сколь угодно велики (ср. поведение [‹ (х) с 
Г (х) ит (х) при х Е [7; 14] и прих >> 17). 

Подмеченные в рассмотренных примерах особенности 
аппроксимационных вариантов регрессионных моделей (так 
мы будем называть варианты, в которых истинная функция 
регрессии }{(Х) ЕЕ = {{, (Х; 9)}ег) приводят к следу- 
ющим основным положениям исследования точности ста- 
тистических выводов в регрессионном анализе в данной ситуа- 
ЦИИ; 


1Влияние неполного или избыточного представления набора объяс- 
няющих переменных на свойства оценок и соответственно на точность 
статистических выводов в регрессионном анализе (при правильном оп- 
ределении структуры модели) может быть учтено в рамках строгих ма- 
тематических конструкций (см., например, [119, гл. 6]. 
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1) при анализе точности аппроксимационных вариантов 
регрессионных моделей не следует претендовать на построение 
сколько-нибудь точных доверительных интервалов ни для не- 
известных значений параметров © (они, как правило, не имеют 
в данной ситуации самостоятельной содержательной интер- 
претации), ни для функции регрессии } (Х) или результирую- 
щего показателя \ (Х) (поскольку, пользуясь аппроксимаци- 


ей [« (Х), отличающейся по структуре от истинной функции 
регрессии / (Х), мы не можем иметь достоверной априорной 


информации о вероятностной природе остатков &; = у; — 


— [а (Х};)); — 

2) имеющуюся выборку наблюдений В» = { (Х,, и), 
..., (Хи, /п)} целесообразно разбить (одним или несколькими 
различными способами) на две непересекающиеся подвыборки 

7 об 

объемов п; Ил» (п, | и, = п): обучающиую Ви’, на основании 
наблюдений которой строятся мнк-оценки ©9“":) неизвестных 
параметров аппроксимационной функции регрессии [, (Х; 9), 
экз 
и экзаменующую (или контрольную) В5^ ‚ по наблюдениям 
которой оцениваются основные характеристики точности ана- 
лизируемой модели (в первую очередь регрессионные остатки 
8; = У; — [а (Хи 9"); 

3) основной (и, по существу, единственной) характерис- 
тикой точности аппроксимационного варианта регрессионной 


модели является оценка д среднеквадратической ошибки ап- 
проксимации о, вычисляемая по формуле 
— | к ри 

> ад . п: р. , 
0” =- У * (у:--Ё(Хи 90(7)}?, (11.27’) 


Г. : 
пт ху) С БК 
р (“90 С 9п,; 


где подразумевается, что имеющаяся выборка наблюдений 
В„ = { (Ху), ..., (Хь, и») } разбита Е различными способа- 


ми на две непересекающиеся подвыборки — обучающую В. 
7 


и экзаменующую (или контрольную) Вэкз соответственно объе- 
2} 
мов м1; и мо; |= 1,2, ..., Е), а мнк-оценки 9‘? неизвест- 
ных параметров 9 построены только по п,; данным, входящим 
в состав обучающей выборки В°б. Знание о позволяет оце- 
1] 
нить максимально возможную погрешность аппроксимации 
неизвестной функции регрессии /(Х) (в пределах обследо- 
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ванного диапазона значений Х) приблизительно величиной 
порядка +2 а/ Ул, а результирующего показателя п (Х) — 


величиной порядка 20, 

4} следует проявлять известную сдержанность и осторож- 
ность при использовании аппроксимационных вариантов рег- 
рессионных моделей для решения задач интерполяции и (0с0- 
бенно) экстраполяции, т. е. при восстановлении неизвестного 
значения функции регрессии } (Х) или результирующего по- 
казателя т (Х) по значению предиктора Х, лежащеми вне ста- 
тистически обследованной области значений объясняющих пе- 
ременных (см. также гл. би 8). 

Поясним подробнее конструктивную реализацию положе- 
ний 2) и 3) на примере использования широко применяемого 
метода скользящего экзамена. Определим п разбиений исход- 


ной выборки В„ = { (Хи), ..., (Хь, и,)} на обучающую 
(В°б) и экзаменующую (Вз*з) следующим образом: 
1] 2] 


Вл, == {(Х,, у), ...) (Х;—1, Уу;_1), (Хулт, У;41)}, . 5. (Х», уп)}; 
В", ={(Х у;}}, |=: 1,2,.... п. 


Таким образом: п; = ял—ТГип,; = | для всех |= 1, 
2,..., п; /-Й вариант обучающей выборки содержит все наблю- 


дения исходной выборки В„ кроме одного — (Х;, у;); соответ- 
ственно /-й вариант экзаменующей выборки содержит единст- 
венное наблюдение — (Х;, у;). Применение к такой последо- 
вательности обучающих и экзаменующих выборок формулы 
(11.27”) дает: 
= | 


0" === 
пт — | 


п 


У (их, 08). (11.27. 


=] 
— 


Величина среднеквадратической погрешности о, нодсчи- 
танная с помощью метода скользящего экзамена (11.27”), в 
аппроксимационных схемах регрессии оказывается, как пра- 
вило, существенно боль!ие аналогичной характеристики, вы- 
численнсй с помощью обычной формулы (11.27). 

Замечание (по поводу вычислительной реализации 
метода скользящего экзамена). На первый взгляд реализация 


1Этот метод (в зарубежной литературе он называется «методом 
склалного ножа», или «]аскКкпИе те{Но4») является одним из вариантов 
реализации общего подхода, впервые предложенного, по-видимому, 
в связи с задачей устранения смещения в статистических оценках (см. 


[65]. 
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метода скользящего экзамена связана с многократным повто- 
рением громоздких вычислений на ЭВМ. Действительно, ‚ про- 
цедура предусматривает п-кратное вычисление оценок 0". ,), 
9". 2? .. ‚, От) ‚ п?-кратное вычисление выборочных функ- 
ций регрессии |, (Хх; 917) 1 ]=1,2,..., п) ит. д. Однако 
непосредственный анализ основных формул метода наимень- 
ших квадратов в случае линейного вида аппроксимирующих 
© . — —__ __ ; 
функций [м (Х; 9) = 9ф, (Х) +... + 9„ф» (Х) = 9% (Х) 
(см. формулы (11.3), (11.9)—(11.12)) позволяет установить по- 
лезные соотношения между интересующими нас характерис- 
тиками, подсчитанными по всей выборке Ви, и теми же харак- 


теристиками, подсчитанными по выборке, в которой нет на- 
блюдения (Х;, и}: 


9 ("9 9+ у: —90’'У(Х}; .(Х’ Х)-!:. 4 (Х;) 


— (11.28) 
где а; = Ч” (Х).(Х'Х)-*. 9 (Х,*; 


9’ (х) = 94 (Хуа, ие. (11.29) 
— 9: 

*. ое, где е, (9) = и: —(Хь ©); (11.30) 

У = (© (9) = У 20} (11.31) 


= 1 = 1 


"—ПА, (99) = па, (9)— 9 (у 0' 4 (Х,)}. (11.32) 


1—9; 


Соотношения (11.28)—(11.31) позволяют избежать много- 
кратной вычислительной «прогонки» процедур метода наи- 
меньших квадратов на различных вариантах обучающей вы- 


борки за счет пересчета значений 9". 2, Г (Х;; 92) = 


= 92 ’У (Х) ит. д. по соответствующим характеристикам, 
подсчитанным по наблюдениям всей выборки Вы. 


*При самых естественных ограничениях на структуру матрицы 
плана Х величина 49;, несмотря на зависимость от Х;, ведет себя при 
п — < (при фиксированной размерности т -| 1 оцениваемого парамет- 
ра) как п-!; если же и т -+* оо, то 9; > (т -- 1)/п. 
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ВЫВОДЫ 


1. Завершив построение оценки (или аппроксимации) }(Х; 9)= 


р 

—= / (Х) для неизвестной истинной функции регрессии } (Х) == 
—= Е (|5 = Х), исследователь должен по возможности опре- 
делить ту гарантированную (с заданной доверительной веро- 
ятностью Р) величину погрешности, за пределы которой он не 
выйдет, восстанавливая неизвестные значения параметров 6, 
истинной функции регрессии } (Х) или анализируемого ре- 
зультирующего показателя п (Х) = (1|Е = Х) по значениям 


их оценок соответственно 0,, / (Х) и Ё(Х). 


2. Решающим моментом во всей процедуре исследования точ- 
ности статистических выводов в регрессионном анализе явля- 
ется соотно:пение между нстинной функцией регрессии } (Х) 
и выбранным исследователем параметрическим классом до- 
пустимых решений Р — 17, (Х; 9)}есг. Если класс Е выбран 
удачно (т. е. если Г} (Х) 6 Е), то исследователь находится в 
рамках идеализированной схемы и при некоторых дополнитель- 
ных агриорных сведениях о природе регрессионных остатков 
ё (А) = ч—-/(Х) имеет возможность дать достаточно точный 
отвег на все три основных вопроса анализа точности регрес- 
сионной модели (см. $ 11.1, 11.2). 

Если исследователь не может гарантировать включения 
Г (Х) ЕЕ (что и бывает в большинстве практических ситуаций), 
то он находится в озмках реалистической схемы и может, в 

^^ 

лучшем случае, дать линь весьма грубую оценку о для сред- 
неквадретической погрешности аппроксимации. 
3. Решение задач оценки точности линейной (по оцениваемым 


параметрам} модели регрессии в рамках идеализированной 


схемы спнрается на такие свойства мнк-оценок 9 неизвестных 
параметров регрессии 9, как состоятельность, несмещенность, 
оптимальность и нормальность, а также на умение вычис- 
лить (в терминах матрицы наблюдений, или матрицы плана 


Х) ковариационную матрицу оценок ©. 
4. Решение задачи оценки точности нелинейной модели рег- 
рессин в рамках ндеализирэованной схемы опирается на те же 


свойства мнЕк-оценок ©, справедливые в данном случае, прав- 
да, лишь в асимптотическом (по пи — со) смысле, а также на 
разложение функции регрессии | (Х; 0) в ряд Тейлора (по 


параметру ©) в скрестности точки 9 = © (где 9 — мнк-оцен- 
ка параметра 9) и на умение вычислить (в терминах частных 
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производных 9{(Х; 9)/90;) ковариационную матрицу оценок 


— 


9. 
5. Анализ точности регрессионной модели в рамках реалис- 


тической схемы сводится к вычислению оценки в для средне- 
квадратической погрешности аппроксимации о по обычной 
формуле выборочной остаточной дисперсии. Однако остатки 


=, = у: — Г (Хь ©), на основании которых подсчитывается 


величина о” (см. формулы (11.27), (11.27'’) и (11.27")), следует 
вычислять лишь для тех наблюдений (Х;, у;:), которые не 
вошли в состав данных, по которым рассчитываются мнк- 


оценки ©. Следовательно, анализ точности регрессионной мо- 
дели в реалистической ситуации предусматривает необходи- 
мость предварительного разбиения имеющихся исходных ста- 
тистических данных на две непересекающиеся выборки — 


—^ 
обучающиую (по данным которой строятся мнк-оценки @) и экза- 
менующую (по данным которой оцениваются регрессионные 


остатки &; = и; —[/(Х;; 9). 
6. Частным (и весьма распространенным) вариантом оцени- 


вания 0” по экзаменующей выборке является метод скользя- 

‘цего экзамена, в котором в качестве п экзаменующих выборок 

последовательно используется каждое из п исходных наблю- 

дений (Х,,/),), ..., (Х,и,), а соответственно остальные я — | 

наблюдений используются в качестве обучающих выборок. 
— 


При этом оценка о” вычисляется по формуле (11.27”). 


Глава 12. СТАТИСТИЧЕСКИЙ АНАЛИЗ 
АВТОРЕГРЕССИОННЫХ 
ДИНАМИЧЕСКИХ ЗАВИСИМОСТЕЙ 


В данной главе рассматривается случай, когда исследуется по- 
ведение единственной случайной переменной х во времени. Ис- 


ходной статистической базой для такого исследования явля- 
ется ряд значений 


^!, Хо, + .у Хи (12.1) 


исследуемой переменной, зарегистрированных в последова- 
тельные моменты времени соответственно &, К, ..., &. 
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Последовательность наблюдений типа (12.1) принято на- 


зывать временным рядом. Он имеет два главных отличия от 
рассматриваемых наблюдений анализируемого признака, об- 
разующих случайные выборки: а) образующие временной ряд 
наблюдения х,, х., ....Х,, рассматриваемые как случайные 
величины, не являются взаимно независимыми, и, в частности, 
значение, которое мы получим в момент времени #, (Е = 1, 
2, ..., п), может существенно зависеть от того, какие значения 
были зарегистрированы до этого момента времени; 6) наблю- 
дения временного ряда (в отличие от элементов случайной вы- 
борки), вообще говоря, не образуют стационарной последова- 
тельности, т. е. закон распределения вероятностей А-го чле- 
на временного ряда (случайной величины хь = х (Ё)) не ос- 
тается одним и тем же при изменении его номера к; в частности, 
от {, могут зависеть основные числовые характеристики слу- 
чайной переменной хь — ее среднее значение Ех ({,) и диспер- 
сия Ох (1) (функцию от аргумента 2, описывающую зависи- 
мость Ех (1) от времени, часто называют трендом временного 
ряда). 

Статистическое исследование последовательностей вида 
(12.1) осуществляется с помощью специального раздела мате- 
матической статистики — анализа временных рядов. В данной 
главе рассматриваются модели лишь одного частного типа — 
модели авторегрессии. Базовая идея, на которой эти модели 
строятся, как раз и заключается в использовании вышеука- 
занной особенности (а) временных рядов, и, в частности, в 
постулировании возможности восстановления значения ана- 
лизируемой переменной х в момент времени [ (т. е. величины 
х (#)) по ее же собственным значениям, зафиксированным в пре- 
дыдущие моменты времени { — 1, —2,... (отсюда и проис- 
хождение названия моделей). 

Более полное и основательное освещение аппарата анализа 
временных рядов приведено в [21, 28, 41, 66, 80, 144]. 


12.1. Дискретные динамические модели 


Одним из наиболее наглядных, простых и в то же время 
весьма часто и плодотворно используемых динамических мо- 


делей являются модели вида 


гп р 
№ = > 9., А —\ -- > У; 2:-р (12.2) 
% = = 
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где 9, и; — параметры, подлежащие оцениванию по наблю- 


дениям (12.1), ав, — случайные величины, удовлетворяющие 
условиям 
0?, если Ё=Ё; 
Е (в,) =0, Е (2,8) = (12.2) 
0, если ВЕ Ё. 


Если р == 0, то (12.2) называют моделью авторегрессии. 
Если же в правой части (12.2) равно нулю первое слагаемое, 
то говорят о модели скользящего среднего. Прир >0ит >0 
соотношения вида (12.2) называют смешанной моделью авто- 
регрессии и скользящего среднего. 

В отличие от регрессионных моделей, где случайность ча- 
ще всего описывает погрешность наблюдения, модель (12.2)— 
(12.2’) предполагает, что уже сам исследуемый объект описы- 
вается вероятностной моделью, т. е. что анализируемая пе- 
ременная х — случайная величина: Типичной областью при- 
менения модели (12.2)—(12.2°’) являются эконометрические 
исследования (см. гл. 14). При учете трендов оказывается удоб- 
ным рассматривать вместо (12.2) ее несколько усложненный 
вариант: 


т: то р 
А! = У 9..1 Хе № -- У 9..2 фу (2) —- 7; =:-р (12.3) 
% == 1 У = 1 ]=0 
где р, (1) — заданные функции. Нередко «точные» значения 
х, оказываются недоступными. Тогда модели (12.2) или (12.3) 
приходится дополнять предположениями, что для анализа 
доступны лишь «зашумленные» наблюдения 


ух, + =. (12.4) 
Обычно предполагается, что 

Е (=, ) = 0, Е (=?) = 0*, Е(&, &.) =0 при #52Ё; (12.4) 

Е (2, 5.) = 0. 


Как будет ясно из дальнейшего, численные аспекты задач 
оценивания, порождаемых моделями (12.2)—(12.3), не вызы- 
вают каких-либо затруднений, так как опираются на стан- 
Дартный аппарат метода наименьших квадратов (см. гл. 7—9). 
Однако изучение статистических свойств соответствующих 
оценок приводит к целому ряду довольно сложных проблем. 
С большинством из них приходится сталкиваться уже при изу- 
чении простейшего варианта модели (12.2) — авторегрессии 
первого порядка. Именно поэтому авторегрессия первого по- 
рядка и будет достаточно подробно изучена в следующем па- 
раграфе. 
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12.2. Авторегрессия первого порядка 


12.2.1. Нормально распределенные «возмущения». Рассмот- 
рим простейший вариант модели (12.2): 


х, — Ох, а, [=1,2,..., п. (12.5) 


Предположим вначале, что случайные величины &, («воз- 
мущения») распределены по нормальному закону и Е (&,) = 0, 
Е (=}) = о", Е (&8,„) = 0 при 2 == Ё. Пусть также задано на- 
чальное условие хо. 

Соотношение (12.5) удобно представить в виде 


Е.Х = в, (12.6) 


/ / 
где Х: = (х1, .... Хи), 8 = (8. - 0хь, &5, .... Е)’, 
а матрица 1, имеет размерность п Х п и представляется в виде 


1 00...0- 
—60 10...00 
1 = 0—01..0 |. (12.7) 
о 00..1_ 


Из (12.6) следует, что вектор Х имеет нормальное распре- 
деление со средним Х, удовлетворяющим уравнению 


Е.Х = Х,, (12.8) 
где Ху =: (ж, 0, ..., 0)’. Нетрудно видеть, что Ех, = хо0'. Ко- 
вариационная матрица В (Х) вектора Х равна: 

В(Х) = с" Ш". (12.9) 


Заметим, что |1| = |№10'| = 1. Из (12.8) и (12.9) следует, 
что распределение вектора наблюдений Х описывается плот- 
ностью 


п 


| | 
р(Х |0", 0) = бло? ХР |- я Ус —9х,—1)° |. 


1=| 


Как обычно, для получёния оценок максимального прав- 


доподобия ол и 0, необходимо максимизировать функцию 
р (Х/о?, 0) по о? и 0. Нетрудно видеть, что решениями этой 
экстремальной задачи являются 


—^ 


0, = мл" ил, (12.10) 
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где 


12 п 
Мп == У, ХГ—1; Уп == У» Х,—15 


1-1 =1 
(12.11) 
"0? -= и У (х,— 9, х:—1}. 


1—1 


Таким образом, с вычислительной точки зрения мы имеем 

дело с простейшей линейной задачей метода наименьших 

квадратов. Изучение же статистических свойств оценок (12.10) 

и (12.11) оказывается заметно сложнее, чем для классической 

линейной регрессии. 

12.2.2. Асимптотические свойства оценок. Изучение предель- 
Ш 


ного поведения (при п — со) оценки 69, опирается на анализ 
п п 


поведения последовательностей Ух? и Уёлх,_1, так как 
1—1 1 


п 


— й 
> о 


Оказывается, что при любом 60 оценка 09», является состоя- 
тельной (т. е. сходится по вероятности к 0). 
—^ 


ра 


Предельное распределение оценки 9, оказывается различ- 
ным при |9|< 1, |9] >1и ]9]| = 1. 

Если |0 | < 1, то говорят об устойчивом сличае. При этом 
т Ех, = 0. 
П—>оо 

В устойчивом случае случайная величина Ул (0, — 9) име- 
ет в пределе нормальное распределение с нулевым средним и дис- 


персией В = (У025)-1 = 1 — 0*. Обратим внимание, что при 
$=0 


п 
|0 | < | величина УхЁ/п сходится по вероятности к о* (1 — 0*)-*. 
[= 1 


Если [|0| >>1, то мы имеем дело с неустойчивым («взрыв- 
ным») случаем. При этом Иш Ех, = ©0. 
по 
В неустойчивом случае случайная величина |6|" (0, — 60) х 
х (0 —1)-* имеет в пределе распределение Коши 114, 
п. 6.1.10] с параметрами (0, 1). 
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Наиболее сложным оказывается промежуточный случай, 
когда |9| = |. Доказано, что при [9| = / случайная величина 
п (0, — 0)/И 2 имеет в пределе распределение с плотностью: 


со 


1 9% (1 
ри = | 5, 4& 


где 
ЦИ 
(212)112 


Ф (2) =е" ? м (с052 (4) *— шт 2 (#)'/") т 

12.2.3. Произвольное распределение «возмущений». Оценка 
(12.10) формально совпадает с мнк-оценкой. Так же как и в 
случае регрессионных задач, кажется естественным исполь- 
зовать ее и при распределениях «возмущений» &,, не совпа- 
дающих с нормальным, а лишь удовлетворяющих условиям 
(12.2’), дополненным требованием их одинаковой распреде- 
ленности и независимости. Оказывается [21, 155], что в этом 


случае оценка (12.10) является состоятельной при любых 0, 
причем: 


1) при 19| < 1 случайная величина Уп (9, — 0) асимпто- 
тически нормально распределена с нулевым средним и диспер- 
сией 1—6?; 

2) при |0| > 1 случайная величина |9|" (0, — 0) (0 — 1)-* 
имеет некоторое предельное распределение, характеристики 
которого зависят от закона распределения «возмущений»; 

3) аналогичное утверждение имеет место и для |9| == 1, но 


для случайной величины п (0, — 0)/И 2. Во всех рассмотрен- 
ных выше случаях асимптотическая «точность» (точнее, пре- 
дельное распределение выписанных выражений) не зависит 
от дисперсии «возмущений». 


Подводя итог результатам, изложенным в данном и преды- 
дущем пунктах, можно сказать, что при |[9| < 1 скорость схо- 


димости порядка п 2; при [9] >1 — порядка [9|-" (1 — 0)* 
и при |9| = 1 — порядка л-' (2. Таким образом, устойчивая 


авторегрессия первого порядка с точки зрения оценивания 
является «наихудшей». 


Для всех рассмотренных выше случаев (как в п. 12.2.2, 
так и вп. 12.2.3) оценка (12.11) является состоятельной, при- 
чем при достаточно больших п предельное распределение слу- 


РР 
чайной величины 01/0* близко к Х*-распределению с п степе- 
нями свободы. 
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12.3. Авторегрессия произвольного порядка 


В полной аналогии с (12.6) для авторегрессии т-го порядка 
можно записать, что 


ЕХ =#, (12.12) 


т 
где Х == (%1, ..., №), :-(‹ +» 9, хх, 


№==1 
т Га 
85 -»х 0,, Х2 — чм, =) › №, Х-—1, у Ат 
\=—2 


начальные условия, 


ь=,-У 0,, у, (12.13) 
№==1 
где 
-000...00- 
00...00 
мн =| 010...00 
000... 10. 


Вектор Х при нормальных и независимых «возмущениях» 
(см. комментарии к (12.5)) распределен по нормальному зако- 


ну со средним Х, удовлетворяющим уравнению 


ЬХ == Х,, (12.14) 


т 


где Хо == |5 9% ХА! —а, Г] 9х! —@, +... 9, ^1—т› 0, ее 5), 
(==1 


@==2 
и с ковариационной матрицей 
Ю (Х} = о". (12.15) 


Решение уравнения (12.14) (точнее, его Е-ю компоненту) 
можно представить в виде 


х. -— У, У биг, (12.16) 
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где 2; — корень уравнения 


г" = У 9., г" —* (12.17) 


*=1 


4; — кратность этого корня, г — количество различных кор- 
ней, константы 6 „ определяются из начальных условий. Урав- 
нение (12.17) является характеристическим для разностного 
уравнения 


т 
Хт = У 9. Хи, 


№=1 


которое, впрочем, эквивалентно матричному уравнению 
СХ = 0. При т = 1 решение (12.16), конечно же, совпадает 
с уже упоминавшимся в предыдущем параграфе решением 
Хк — Хо0*. 

Из (12.12), (12.14), (12.15) следует, что плотность распре- 
деления для вектора Х может быть представлена в виде 


,. И _ | п _ т р. 
р (Х|1?; 9) озу ок | т У [= У 0, «> , 


(12.18) 


1—1 


Так же как и при т = 1, полезно иметь в виду, что |1,| == 
= || = 1. 
С учетом (12.18) оценки максимального правдоподобия 


9, = (6.», ..., бл)’ и 02 имеют вид (ср. с (12.10) и (12.11): 
9, =М;{У,, (12.19) 


где компоненты матрицы М, (мов) и вектора У, (уо) опреде- 
ляются соотношениями: 


Мав — 5 Х1— а В, и= Уж а (а В=1т); = (12.20) 


1—=1 [—=1 


Формулы (12.19) и (12.20) полностью аналогичны (12.10), 
(12.11), так что для отыскания 6. И о? могут быть использо- 
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ваны стандартные программы метода наименьших квадратов. 
Следует, однако, иметь в виду, что матрица М в задачах ав- 
торегрессии, как правило, оказывается плохо обусловленной 
(см. гл. 8). 


Асимптотическое поведение компонент 9„„ векторной оцен- 


ки 9, определяется значениями корней уравнения (12.17). 
Наиболее хорошо изучен случай, когда все корни по модулю 
меньше единицы: |2. | < 1, = 1, г (см., например, [21, гл. 5]). 
При этом предположение о нормальности распределения «воз- 
мущений» оказывается несущественным. 

Если все корни характеристического уравнения (12.17) по 
модулю меньше единицы, а случайные «возмущения» , независи- 
мы, Е (8;) = 0, Е (1) = 0*, [= 1, п и имеют одинаковые рас- 
пределения, то оценки (12.19) и (12.20) состоятельные. Более 


того [21|], случайная величина Уп (©, — 9) имеет в пределе 
нормальное распределение с нулевым средним и ковариационной 
матрицей А-", где 


= Увив", 


10...0` ‘00 0 
0 0 10 0 

К — в От 0 
00...0 оо 0 


Так же как и в предыдущем параграфе, асимптотическая 
дисперсия оценок не зависит от дисперсии «возмущений» :,, 
а целиком определяется истинными значениями параметров ©. 

В практических задачах полезно иметь в виду, что матрица 
п-ю-?М» (см. (12.19)) является состоятельной оценкой матри- 
ЦЫ 

В неустойчивом случае (по крайней мере один из корней 
характеристического уравнения по модулю больше единицы) 
оценки (12.19) и (12.20) по-прежнему состоятельны, однако 
предельное распределение оценок (12.19) уже не является нор- 
мальным (см., например, [21, 55.5]. 

Если все корни характеристического уравнения по модулю 
-больше единицы, то матрица (В, — В) В"? имеет предель- 
ное распределение, которое определяется распределением слу- 
чайных «возмущений» &, (см. [155]). В этом утверждении В» 
получается из В заменой истинных значений параметров 
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— -—щ— 
0,, ..., 0, их оценками 6:,, ..., От». Приведенная формула 
для матрицы А (обратной к ковариационной матрице оценок 


9) позволяет оценивать скорость сходимости оценок 9 к истин- 
ным значениям параметров ©. 


ВЫВОДЫ 
1. Совокупность наблюдений х (В), х (1), ..., х (&) исследу- 
емой случайной величины, произведенных в последовательные 
моменты времени В, Ё,, .... [,, называется временным рядом. 
2. Временной ряд {х (1), х (1), ..., х (&)} отличается от по- 
следовательности наблюдений {х,, х., ..., х,}, образующих 


случайную выборку, тем, что члены временного ряда не явля- 
ются ни статистически независимыми, ни одинаково распре- 
деленными. 

3. Функция ] (1), описывающая изменение среднего значения 
анализируемой переменной в зависимости от времени Ё ее на- 
блюдения, называется функцией тренда, или просто трендом. 
Очевидно, тренд может интерпретироваться как регрессия 
исследуемой переменной по фактору времени!. 

4. Моделью авторегрессии порядка т называется модель рег- 
рессии, в которой в качестве результирующего показателя 
рассматривается анализируемая переменная в некоторый мо- 
мент Г, а в качестве объясняющих переменных (предикторов) 
используются значения той же самой переменной в т непо- 
средственно предшествующих { моментов ее наблюдения. Мо- 
дели авторегрессии относятся к наиболее распространенным 
прогностическим моделям, используемым при исследовании 
динамических зависимостей. 

5. Численно задачи оценивания неизвестных значений пара- 
метров моделей авторегрессии решаются с помощью стандарт- 
ного аппарата метода наименьших квадратов (см. гл. 7—9). 
Более сложные проблемы возникают при исследовании ста- 
тистических свойств получаемых оценок. 


1В ряде работ по математической сгатистике под трендом понима- 
ется лишь Так называемая долговременная составляющая функции 
Ех (1) — некое устойчивое, систематическое (‹очищенное» от различ- 
ных периодических или сезонных колебаний) изменение в течение дол- 
гого периода (см., например, [66, с. 483]). Такое определение не пре- 
тендует на математическую точность, оставаясь несколько расплыв- 
чатым: ведь понятие «долгий», «долговременный», используемое в нем, 
является относительным. То, что с одной точки зрения является дол- 
гим, с другой таковым не будет. 
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6. Оценки метода наименьших квадратов параметров модели 
авторегрессии в широком классе случаев (а именно при усло- 
вии независимости, одинаковой распределенности и конечно- 
сти дисперсий участвующих в них случайных «возмущений» 
=, см. (12.2)) являются состоятельными. Асимптотические 
распределения оценок в «устойчивом» случае всегда явля- 
ются нормальными, причем их дисперсия (ковариаци- 
онная матрица} не зависит от дисперсии «возмущений» :,. 
В общем случае (т. е. в ситуации, когда некоторые из корней 
характеристического уравнения (12.17) по модулю превосхо- 
дят единицу) асимптотическое распределение оценок опреде- 
ляется распределением случайных «возмущений» &,. 

Математическая модель авторегрессии т-го порядка: х, = 


т 
= > бу ж- а где 09,— параметры, подлежащие оцени- 
№ = 
ванию по наблюдениям, а ‚случайные величины, удов- 
летворяющие условиям Её, =0, Её, &„-==0”, если Ё=Ё, и 
{ =0, если [5&Ё. В отличие от регрессионных моделей, 
где случайность обычно описывает погрешность наблюдений, 
модель авторегрессии предполагает, что уже сам исследуе- 
мый объект описывается вероятностной моделью, т. е. что 
анализируемая переменная х — случайная величина. 
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Раздел Ш. ИССЛЕДОВАНИЕ ЗАВИСИМОСТИ 
КОЛИЧЕСТВЕННОГО 
РЕЗУЛЬТИРУЮЩЕГО ПОКАЗАТЕЛЯ 
ОТ ОБЪЯСНЯЮЩИХ ПЕРЕМЕННЫХ 
СМЕШАННОЙ ПРИРОДЫ 


Глава 13. ДИСПЕРСИОННЫЙ 
И КОВАРИАЦИОННЫЙ АНАЛИЗ 


Допустим, что экономиста колхоза интересует зависимость 
урожайности какой-либо сельскохозяйственной культуры от 
типа почвы, сорта семян и работающего на поле звена. Допус- 
тим, далее, что в колхозе имеется / типов почвы, используется 
/ сортов семян и обработкой культуры заняты К звеньев. 
Экономиста интересует: а) средняя урожайность каждого 
сорта семян для выбора наиболее подходящего для данного 
хозяйства сорта; 6) влияние почвенных условий на урожай- 
ность и в) различие в трудовой отдаче звеньев, что важно для 
дифференцированной оплаты труда. С математической точки 
зрения экономист должен изучить зависимость количествен- 
ной случайной величины (урожайности) от величин номиналь- 
ных (сорт, звено, тип почвы). Пусть на /[-м поле с & (/)-м типом 
почвы работало К ([)-е звено, которое возделывало ] (/)-й сорт, 
и пусть и, — урожайность [-го поля. Приступая к расчетам, 
экономист может построить математическую модель вида 


у т-На: а) Но Нокиа; =1,... „С, (13.1) 


где т, а;, 6; ск — константы, отражающие соответственно 
средний урожай в колхозе, влияние на урожай типа почвы, 
сорта семян и звена, а &, — «остаточная» случайная величина, 
представляющая собой отклонение наблюдаемой урожайно- 
сти от модельных предположений. В модели обычно предпо- 
лагается, что «остатки» &; независимы между собой, одинаково 
распределены и имеют нормальное распределение с нулевым 
средним. Конечно, модель (13.1) можно сделать более точ- 
ной, введя в правую часть дополнительные константы, учи- 
тывающие, например, эффект взаимодействия типа почвы и 
сорта семян, сорта семян и звена ит. п. 

Модели типа (13.1) называют моделями дисперсионного ана- 
лиза с постоянными факторами, а совокупность методов их 
изучения - собственно дисперсионным анализом (ДА). Эти 
модели описаны в $ 13.2, 13.3. 
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Представим теперь, что анализ проводит экономист района 
или области и его интересуют не успехи отдельных звеньев, 
а скорее тот вклад в общую изменчивость урожайности, кото- 
рый вносит разная работа звеньев. В этом случае постоянную 
с), Которая характеризовала в (13.1) работу звена, целе- 
сообразно заменить на случайную величину С ([) и назвать 
случайным фактором. Линейные модели ДА, содержащие толь- 
ко случайные факторы, называют моделями со случайными фак- 
торами. Модели, куда входят одновременно постоянные и слу- 
чайные факторы, называют смешанными моделями диспер- 
сионного анализа (последние два типа моделей описаны в 
$ 13.4; см. также [148]. 

Если требуется проанализировать данные за ряд лет, раз- 
личающихся, например, по своим погодным условиям, кото- 
рые характеризуются количественными переменными Х = 
= (х(),..., х(Р))"”, то для того, чтобы учесть влияние климата, 
к правой части (13.1) можно добавить дополнительные члены 


т 
вида №0. - ф. (Х}), где 9. — неизвестные постоянные коэф- 
9=0 
фициенты, оцениваемые по обычным данным, аф. (Х) — из- 
вестные количественные (базисные) функции внешних условий 
Х (например, средней температуры, количества осадков ит. п.). 
Эти дополнительные количественные факторы называют рег- 
рессионными переменными, а методы изучения моделей, в ко- 
торых часть переменных является неколичественными, а часть 
количественными (регрессионными), — ковариационным ана- 
лизом (модели ковариационного анализа посвящен $ 13.5). 


13.1. Классификация моделей 
дисперсионного анализа 
по способу организации исходных данных 


Во введении к данному разделу описана классификация мо- 
делей, основанная на анализе математической природы входя- 
щих в них объясняющих переменных. Для дисперсионного 
анализа существенна также классификация, основанная на 
способе организации исходных данных, т. е. на том, как гра- 
дации одних факторов (переменных) в исходных данных соче- 
таются с теми или иными градациями других переменных и 
как распределено общее число имеющихся наблюдений между 
различными возможными сочетаниями градаций переменных. 
Эти классификации тем более целесообразны, что ДА наи- 
более эффективен именно тогда, когда исследователь активно 
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вмешивается в организацию сбора данных или, как говорят, 
участвует в планировании экспериментов. 

Предположим, что в исследование включено Р факторов, 
причем 1-й фактор имеет /; (1 = 1, ..., р) градаций, тогда име- 
ется -/” = /. .... : /› различных сочетаний значений факто- 
ров (условий эксперимента). Если каждому из возможных 
условий соответствует хотя бы одно наблюдение, то такую ор- 
ганизацию (планирование) экспериментов называют полным 
Р-факторным планом. В противном случае планирование на- 
зывают неполным Р-факторным планом. В примере с колхозным 
экономистом для того, чтобы план был полным, необходимо, 
чтобы каждое из К звеньев обрабатывало бы все / типов поч- 
вы и на каждом из типов использовало бы все / сортов семян. 
С практической точки зрения это трудно организовать, поз- 
тому больше распространены неполные планы. 

В случаях, когда требуется сравнить в эксперименте / со- 
вокупностей условий (например, / сортов семян), часто груп- 
пируют эксперименты в блоки (например, по типу почвы) так, 
чтобы внутри блока результаты эксперимента (урожай) были 
бы более похожи друг на друга, чем на результаты эксперимен- 
тов в других блоках. Если внутри каждого из блоков удается 
разместить все / условий, то такой план эксперимента назы- 
вают полным блочным планом; если только часть из них — то 
неполным блочным планом. Для того чтобы нивелировать влия- 
ние не учитываемых при анализе факторов (например, звень- 
ев), размещение условий (сортов) внутри блока (тип почвы) 
часто производят случайно (по отношению к звеньям). Такие 
планы экспериментов называют случайными или рандомизи- 


рованными планами. 


13.2. Однофакторный дисперсионный анализ 


13.2.1. Представление в виде регрессионной модели. Матема- 
тическая модель однофакторного ДА имеет вид 


У: = 99+ 9: =; | = 1,...,4:; Е = 1,..., Г, (13.2) 
где 9; —щ неизвестные константы, удовлетворяющие равенст- 
ву 

1 1 Ч: 
у Ш; 9; =0, @; > 0, Уи. =1 (13.3) 


{=1 1—1 
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(и; — некоторая заданная (вводимая исследователем) систе- 
ма весов)!, а &;; — случайные погрешности, независимые меж- 
ду собой и имеющие нормальное распределение с нулевым сред- 
ним и неизвестной дисперсией о? >> 0. 

С содержательной точки зрения однофакторный анализ 
можно рассматривать как / рядов (каждый ряд длины У;) не- 
зависимых наблюдений над нормально распределенными слу- 
чайными величинами со средними 0, --9д: и дисперсией о”. 

Используя векторную запись, модель (13.2) можно предста- 
вить в виде 


ии м Г110...0- Е: — 

Ул, 110...0 _ 21, 

ри О! 0 Одо =, 

У2 у, = | 01 се о 0 `°° &2/, :4) 
_ Яд — 

11 100 | 811 

Ум, _ _ 100...1 _ 21, 


т 
или в обозначениях главы 7 (положив для краткости п =. УЛ} 


6=\ 
У=х, © +, (13.4) 


где У — (пх \)-вектор наблюдений; Х— (пох (7-Е 1))- 
матрица плана экспериментов, имеющая ранг /; 9, — 
(1-1) Хх |-вектор неизвестных констант и # — пх 1-- 
вектор случайных погрешностей*. Векторы У и = иногда обо- 
значают так же, как уес (у;;) и Уес (8;;) или [у и [8;1. 
В дальнейшем мы будем пользоваться первым из этих обозна- 


Совокупность весов {\;} выбирают из содержательных сообра- 
жений. Например, если у — урожайность, а индекс { отвечает сорту, 
то, если выбрать и; пропорциональным занятой 1-м сортом площади 
посевов в колхозе, 9х, будет соответствовать средней урожайности в 
колхозе, а Од; — разности между урожайностью {-го сорта и Ощо. 

2Нижний индекс ду объясняющих переменных х(®), матрицы плана 
Х и оцениваемых параметров 9 подчеркивает, что речь идет об упомя- 
нутых характеристиках модели дисперсионного (а не регрессионного) 
анализа. Там, где это не вызывает недоразумений, этот индекс опуска- 
ется. 
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чений. В ДА обычно проверяется гипотеза об отсутствии 
влияния рассматриваемых неколичественных переменных на 
результирующий показатель, т. е. Н:0;, = 09. =... = 9 = 
= 0. Р-критерий для проверки этой гипотезы задается с 
помощью статистики (см. гл. 7). 


|. (ОСКн —ОСК) /(1— 1} (13.5) 
—_ ОСК / (п — Г) 


где ОСК-= пп УУ(:; — 9» — 6,1)", 


9:24:09; =0 { 7] 
а ОСКн = мм ХХ (у;; — 0,.)?, имеющей при правильности 
О по Е] , 
гипотезы Я Е (1—1, п — Л-распределение с числом степеней сво- 


боды (/—1) (в числителе) и (п — /) (в знаменателе). Миними- 
зация ОСК легко выполняется методом _Лагранжа. ОСК до- 


стигает минимума при С = Ху И 0; = = И; — Г 
1 


До до’ 

где у; = Уи“ — оценка среднего! в 1-м ряду наблюдений; 
ОСК = Ух у) ОСКн (достигает минимума при 
,, = хи, Л и равно УХ (у — унн)*. Путем не 
сложных алгебраических преобразований получаем 


У; 
> (и:;— У; * | Ик уж == 


т У; 1 
=> Ху > У (уж — Уж+)", 


так как сумма со смешанными произведениями равна нулю. 
1 

Откуда ОСКн — ОСК = УЛ; (у;„ — у.„), и критерий ЕЁ 
2—1 


принимает Вид 


я У: (у: — У) /(1— 1) 
= (13.5’) 


У; 
} > (и уь (т — 1) 


1Подстрочный индекс „ означает усреднение по индексу, который 
он заменяет. 
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Числитель Ё обозначают $й, а знаменатель — $2. Таким об- 
разом, если окажется, что подсчитанная по формуле (13.5’) 
(или (13.5)) величина Ё превосходит значение 100% -ной точ- 
ки Ро (Г — 1, п — Г) Е-распределения с числом степеней сво- 
боды числителя, равным / — 1, и знаменателя — п — [ (см. 
табл. П.5), то гипотеза Н отвергается (с уровнем значимости 
критерия, равным ©). Различные суммы квадратов, встреча- 
ющиеся в ДА, принято располагать в виде специальной табли- 
цы ДА для однофакторного анализа (табл. 13.1). Последний 
столбец таблицы объяснен в следующем пункте. 


Таблица 13.1 


Число м о 
Источник из- степеней | 91” Е (Ск) 
менчивости Сумма квадратов (СК) свободы [ 

(чес) |5 


0? -|- (Г— 1) 
х УМ: (0;—6,)* 
Е 
Ошибки СКе-= ХУ, \ (уи-—Уы)? У /:—1 52 о? 
 ] 


Между гра- СКн=У ил (Ук — Уж»)? Г—1 
дациями Е 


1 


«Полная» СК р = Инь)? 7:—=1| — 
«Пот = ХХ мины У 


квадратов 


Терминология для сумм, используемых в столбце «источ- 

ник` изменчивости», в разных работах разная. Так, вместо тер- 
мина «между градациями» употребляют термины «между сово- 
купностями», «между способами обработки»; вместо терми- 
на «ошибка» говорят о сумме квадратов «внутри групп», «вну- 
три совокупностей», «остаточной» сумме квадратов. 
13.2.2. Геометрический смысл ДА. Хотя общие вопросы про- 
верки гипотез в случае линейной регрессии уже рассмотрены 
в гл. 7, представляется интересным конкретизировать их в. 
случае однофакторной модели ДА. Положим 


21» = Х=иЛ; 8,» — Ул =:./п; 0, = > У; 9: /п 
1 7 ё 


И определим п-мерные векторы аналогично ТОМУ, как это было 

сделано в предыдущем пункте. 

И = уес (у. „‚-—0,); И=Уес(у,— у); М = ес (у:— У). 
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Из модели (13.2) следует, что И = уес („„), № = 
= Уес (2;; — в), а 


У = И, - уес (0, —6,), (13.6) 
где У, = Уес (2. — 8»). 

Из тождества 
2: Вик Е (В — 8+) -- (8; —.) 


следует, что е = (+ У, + И. 
Векторы (, У’, № взаимно ортогональны, что легко проверя- 
ется непосредственно, поэтому 


ве= ИУ УИ" №. (13.7) 


Квадратичные формы, стоящие в правой части (13.7), взаимно 
независимы и имеют ранги, в силу определения и условия. 
(13.3), соответственно равные 1, Г — |, п — Г. Поскольку 
ранг правой части (13.7) равен п = 1- (71—11 + и —), 
в силу теоремы Кохрана ([148, приложение \1]), отсюда сле- 
дует, что (’И/о?, УзИ,/0?, И’ с имеют х?-распределения 
с числами степеней свободы, равными их рангам. Таким обра- 
зом, числитель и знаменатель критерия (13.5), (13.5’) незави- 
симы, и Ё имеет Р-распределение с числами степеней свободы 
[— 1, п — Г. В случае, когда Н не имеет места, Ё имеет не- 
центральное Р-распределение с тем же числом степеней сво- 
боды и параметром нецентральности 6, равным в силу (13.6) 


6 = уес (0; —0,)’ уес (0; — 0) /0?* = №1; (0, —0„)?/о?. (13.8) 


Диаграммы для нахождения мощности Р-критерия при задан- 
ных п, /, 6 можно найти в [148]. 

13.2.3. Доверительные интервалы. Если в результате приме- 
нения А-критерия гипотеза Н отвергается, то следующий шаг 
состоит в выяснении того, насколько параметры 0; отлича- 
ются друг от друга. В частности, обычно представляют инте- 
рес разности вида 0, — 0,, 0, — (0, + 6.)/2, (0, - 6.)/2 — 
— (0, + 0, - 0,;)/3 ит. п. Эти линейные комбинации, имею- 
щие вид %с,9; = 0, где »№с; = 0, называются сравнениями 
или контрастами (соп4га${) параметров 9;. Если бы линей- 
ная комбинация была задана до получения экспериментальных 
данных, то (1 — &) — доверительный интервал для %с;9; — 
мы могли бы построить как 

с? 
2; Уз 5 (4/2 (п 1)) > —_ бе» (13.9) 
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где 4 () — 1008 %-ная точка {-распределения Стьюдента с 
& степенями свободы. 

Однако на практике представляющие интерес сравнения 
составляются обычно после получения экспериментальных 


данных, т. е. тогда, когда уже известны оценки 0;. Исследо- 
ватель, опираясь на них, среди всех возможных сравнений 
отбирает те, которые кажутся ему наиболее важными. Приме- 
нение формулы (13.9) к отобранным сравнениям не оправдано 
и приводит к более узкому, чем должно быть, доверительному 
интервалу. Тактика исследователя в этих условиях должна 
заключаться в том, чтобы отказавшись от индивидуального 
доверительного интервала строить доверительные интервалы 
множественные, которые одновременно выполнялись бы либо 
для всех возможных сравнений, либо для какого-либо выделен- 
ного подмножества сравнений. Наиболее известны три мето- 
да построения таких интервалов: 3-метод Шеффе, Т-метод 
Тьюки и метод уменьшения уровня критерия Стьюдента. 

$-метод Шеффе опирается на следующее простое рассуж- 
дение: 


— 
— 


|5 с; (9; —у:„) 


=| с (2:к — Ви») 


<)" 


Г |2 


= т ИЛ (Ев) 


| 


Хх (24. (Ех — Виж)" ) (13.10) 
Е 


Правая часть (13.10) состоит из двух сомножителей, пер- 
вый из которых носит неслучайный характер, а второй не за- 


висит от выбора с;, распределен как У о?х? ([ — 1) и не зависит 
от 58. Отсюда можно вывести, что величина второго сомножи- 
теля с вероятностью (1 — а) будет меньше, чем [(/—1) Хх 
х Ре (Г — 1, п— 1)11/25,. Следовательно, с вероятностью 
не меньшей | — &, для всех сравнений одновременно выпол- 
няется неравенство 


/ 2 \1/2 
152,0, — 34» (Х г > 


х [(1— 1) Ее (7—1, п— Л)! 5... (13.10’) 
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Т-метод Тьюки применяется только к сравнениям вида 
‘9; — 0;. Пусть у;„ — 9; расположены в вариационный ряд, 
обозначим Си — наименьшее из них и 0; .х — наибольшее. 
Для всех Г (Г — 1)/2 пар (1, ] 


Угу 0: 0; | = 2 пах — Яиш = 


= тах 2; —Ште,„. (13.11) 
? 7 


Разность в правой части неравенства (13.11) при Л; = Ус 
вероятностью |1 — & ограничена величиной да (1, п — Г)», 
где до (1, п — Г) — 100&%-ная точка стьюдентизированного 
размаха с числом степеней свободы 1, п — П. 

Метод уменьшения уровня критерия Стьюдента. Если 
требуется построить Е доверительных интервалов, где Ё не 
слишком велико, то можно воспользоваться неравенством (13.9) 
с меньшим значением уровня ©’ = @&/®. В этом случае вероят- 
ность того, что будут верны одновременно все Ё доверительных 
интервалов, не менее | — а“. 

Пример 13.1. Допустим, что а = 0,05, Г = 5, Л; = 6, 
1=1,....5. Доверительные интервалы строятся только для 
разностей 0; — 0, (к = 10). Тогда введенные вышетри метода 
дают следующую длину доверительных интервалов (в едини- 
цах $5.). 


[2 


2 \1/2 
э-метод: 2 [= =) [(1—1) (Ро (1, п Г)]1! 2 = 11,50; 


Г-метод: 24% (1, п Г) = 8,32; 


метод уменьшения уровня критерия Стьюдента в # раз: 


с? 1/2 
2 [2 >} 1% (2) (п— Г) = 10,67. 


: 


Таким образом, наименее экономным оказался $-метод, но 
это и естественно, так как в нем интервал рассчитан на произ- 
вольное сравнение. 


Пусть случайные величины 1), ..., ;, 2 () независимы между 
собой и \; ЕМ (0, 1), тогда случайная величина 9; = (тах; — 


—пий ГИ х2 (^) называется стьюдентизированным размахом. с чис- 
лом степеней свободы Г, Ё 
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13.3. Полный двухфакторный 
дисперсионный анализ 


13.3.1. Взаимодействия. Рассмотрим полный двухфакторный 
эксперимент с факторами А и В, имеющими соответственно / 
и / градаций (уровней). Обозначим 0;; среднее значение ре- 
зультата эксперимента при сочетании 1-го уровня фактора 
А с /-м уровнем фактора В (среднее значение в (1, ]-ячейке 
прямоугольной таблицы, в которой строкам соответствуют 
градации фактора А, а столбцам — градации фактора В). 
Пусть {9;}, {и} (С, = 2 = |, 9; 20, и; 20) системы 
[1 


весов, выбранные в соответствии с градациями факторов А и 
В. Например, если фактор А — тип почвы, а В — сорт, ре- 
зультат эксперимента — урожай, то и; может быть пропор- 
ционально площадям с 1-м типом почвы, а &; — площадям, 
занятым /-м сортом. Средним значением 1-го уровня (фактора) 
А называют а; = Х,9,,. 

] 


В рассмотренном выше примере а; — ожидаемая средняя 
урожайность на 1-м типе почвы при условии, что выбор сорта 
при посеве не зависит от типа почвы и пропорционален {,}. 
Эти условия выполняются, в частности, когда либо тип почвы 
оказывает приблизительно одинаковое влияние на урожай- 
ность всех сортов, либо низка общая культура земледелия, 
и землепользователю просто неизвестны или он лишен возмож- 
ности использовать оптимальные сочетания сорта и типа поч- 
вы. Аналогично определяется среднее 7-го уровня (фактора) 
В 6; = У,9,;. В примере 6; — это ожидаемая средняя уро- 

[1 


жайность 1-го сорта при случайном распределении его по по- 
лям, пропорциональном {9;}. 
Генеральным средним называют 


6, —= Х;6; == Жо, аа= У №9, 0,0; ;. 
] : ] 


: 


Главный эффект 1-го уровня А определяется как &; = 
= а; — 0,. Очевидно, {&;} удовлетворяют условию 


Хрогон = 0. (13.12) 


Аналогично главный эффект /-го уровня В определяется 
как В; = 6; — 6ь, и {В,;} удовлетворяют условию 


2: В; == 0. | (13.13) 
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Взаимодействием 1-го уровня А с {-м уровнем В называют 
у: = 0;;,—а,— 6; 9% == (0,;,—6,)—<,— В. 


Взаимодействия удовлетворяют условиям: 


Жит=0 для всех ]=1,..., 4; 
[3 


(13.14) 
Уи, у,=0 для всех #=1,..., Г. 
7 


Итак, математическая модель для средних имеет вид 
9;; = бу а, НВ; у:,, (13.15) 


где ©;, В; %\:; удовлетворяют уравнениям (13.12)—(13.14). 

Очень важным для практического использования ДА яв- 

ляется следующее утверждение [148, $ 4.1]: 
Если при некоторой системе весов {и;}, {и} все взаимодействия 
равны нулю, то они равны нулю при любой другой системе весов. 
В этом случае модель называют аддитивной. В аддитивной 
модели каждое сравнение средних {а;} или {Ь;} и главных эффек- 
тов {%;} или {В;} имеет значение, не зависящее от системы ве- 
сов {9;} и {и,;}. 

Содержательная интерпретация результатов ДА проста и 
наглядна, когда мы решаем (На основании статистических или 
других соображений), что взаимодействия отсутствуют. В этом 
случае заключением о главных эффектах можно завершить 
весь анализ. Однако если гипотеза об отсутствии взаимодей- 
ствий была принята на основании только того, что она не была 
отвергнута некоторым Р-критерием, то следует посмотреть 
мощность этого критерия и оценить, насколько статистически 
невыявленные взаимодействия могут повлиять на интерпре- 
тацию результатов. 

Часто величины взаимодействий могут быть уменьшены с 
помощью подходящего преобразования наблюдаемых слу- 
чайных величин [14, п. 10.3.4]. Пример использования преоб- 
разования с целью сделать модель аддитивной можно найти в 
[170]. 

Среди статистиков нет единого мнения о целесообразности 
изучения главных эффектов в условиях статистически значи- 
мых взаимодействий. Нам кажется, что этот вопрос носит, 
скорее, содержательный, чем формально-математический ха- 
рактер. Если введенные средние имеют смысл, то изучение их 
свойств целесообразно. Наконец, взаимодействия могут быть 
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значимы статистически, но относительно малы по сравнению 
с главными эффектами. 

Всюду в дальнейшем, если не оговорено противное, будет 
выбираться система весов: и; = 1//[, ш, = 1/Л. Такие веса 
иногда называют равными. 

13.3.2. Двухфакторный анализ с равным числом К наблюде- 
ний в ячейках (К > 1). Обозначим иу;;„ Е-е наблюдение в 
(:, /)-ячейке, тогда математическая модель имеет вид 


Где #;; независимы и имеют нормальное распределение со 
средним, равным нулю, и дисперсией о*?, а константы &;, В,, 


у:; Удовлетворяют соотношениям (13.12)—(13.14) с равными 
весами. Обычно проверяются следующие гипотезы: 


Нд: все ©; =9; 
Нв: все В; =0; 
Ндв: все %;;==0. 


Оценки для параметров строятся аналогично тому, как это 
делается в 6 13.2.1: 


— -—— — 
9% = ук, а; = Инк — Узжь В; — Ух лк — Уж 


\:; = Ук — Уна Ук Е Уж. 
Возьмем тождество 


Ури — Уи» = (Ук — Уж) Е (Угь — Ува — Уврь Е Увжк) 1 
Ч (Ик — Уж) Е (Уз — Уж), 


возведем в квадрат его правую и левую части и просуммируем 
по всем значениям индексов {, |, К. Так как все смешанные 
произведения при суммировании равны нулю, получаем 


СКн = СК. - СКдв- СК -+ СКв. (13.17) 


Поскольку сумма рангов слагаемых правой части (13.17) 
совпадает с рангом квадратичной формы левой части, согласно 
теореме Кохрана получаем, что суммы квадратов правой час- 
ти независимы и соответственно распределены как о*. 5%? с 
числом степеней свободы, совпадающим с рангом соответству- 
ющей формы. Таким образом, критерии для проверки гипотез 
Нд, Нв, Нав могут быть построены как соответствующие 
Е-отношения 54/5, 58/52, $Ав/$2, ‚где 5%, 58, 54в, 5. определе- 
ны в таблице ДА для двухфакторного анализа с К >> 1 наб- 
людениями в ячейке (табл. 13.2). 
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Доверительные интервалы для сравнений {®;} {В;}, {%;:;} 

могут быть построены с помощью $-метода аналогично тому, 
как это сделано в случае однофакторного анализа. Г-метод 
может быть также применен к разностям главных эффектов. 
Однако к взаимодействиям он уже не применим. 
13.3.3. Случай неравных А;;. В общем случае не существует 
простого разложения, подобного (13.17). Поэтому остаются 
две возможности: либо воспользоваться точным, но громоздким 
методом анализа, изложенным, например, в монографии [148], 
либо применить приближенный метод. Последний заключает- 
ся в следующем. Приближенно считают, что 


Углн А, а; В; \; На, 
где =;; независимы и нормально распределены с нулевым сред- 
ним и дисперсией о”/К; К = УУК:/ИМ, а {:}, {В;}, {1} 


2] 

удовлетворяют соотношениям (13.12)—(13.14) с и; = ИГ, 

ш; = 1/Л. Оценка о? в этом случае строится с помощью СК, = 

=3У»У, (у: —У:ж). Далее анализ проводится так же, как 
7 к 


в п. 13.3.2 с К=К. 
В частном случае, когда для всех (1. Ки =К,.К.УК.., 


где К;. = УК, К. = УК, К.. = УК,. =УК. р при выбо- 


[2 : 3 р 
рео; = К;./К.. им, =К.,К.. разложение типа (13.17) имеет 
место, и ДА проводится с очевидными изменениями в табл. 13.2. 
13.3.4. Случай К;; = |. Как правило, подобные данные воз- 
никают при использовании планов с рандомизированными 
блоками, когда можно априори ожидать, что или взаимодейст- 
вие между изучаемым фактором А (способом обработки) и 
фактором В (блоком) мало в среднем, или что существует ма- 
лопараметрическая параметризация взаимодействий. Ниже 
указываются основные модели. 
Аддитивная модель без взаимодействий 


у 9 -Н а; Ву а; [=1,..., Г; [== 1,..., Ч, (13.18) 
где Ха; = 0, УВ; = 0, а в;; независимы, нормально распре- 


: ] 
делены М (0, 0°). При рандомизированных блоках &,;; отражает 
суммарное влияние двух источников случайных отклонений: 
отклонения, связанного со случайностью расположения фак- 
тора А в блоке, и отклонения, равного случайной погрешности 
воспроизведения эксперимента при заданном расположении А 
в блоке. Поскольку в аддитивной модели предполагается, что 
взаимодействия отсутствуют, проверка гипотез Нд: &; = 0 
(= 1,..., Ли Нв: В, =0(=Т...., /) проводится так же, 
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как в п. 13.3.2, только роль суммы квадратов ошибок играет 
сумма квадратов взаимодействий. Табл. 13.3 — это таблица 


ДА для аддитивной модели двухфакторного анализа с одним 
наблюдением в ячейке. 


Таблица 13.3 


9 
Число 2] 5 


меичивости, Сумма квадратов (СК) | бобы || (СК) 
(чсе) [5 
Главные СК д==/ У (Ив — Ин»)? 1—1 Ру 02- НУ х 
эффекты Е , а 
(способы х (17-1) 13а 
обработки) 
Главные СКв=Г У, (у. — У,» 1—1 5 02 |-ГХ 
эффекты Г ИТ А—1яа8 
(блоки) х (1—1) 1587 
Ошибки СК. =», УХ (и — (1—1)Х | $ 0? 
1 х (/—1) 


— У — У Уж) 


«Полная» СКи= У У (И: — ук) — — — 
] 


сумма : 
квадратов 


Модель с однопараметрическим описанием взаимодействий 


носит стандартный вид (13.16), только дополнительно предпо- 
лагается, что 


у: = та: В. (13.19) 


Гипотеза об отсутствии взаимодействий в этом случае эк- 


вивалентна гипотезе Нг:\ = 0. Для ее проверки можно ис- 
пользовать критерий 


АА ЗИ (13.20) 
(ОСК—СКг) (7—1) (7-Ш-И' 
где 
(5 У а: В; из] р 
СК т; ОСК=ХУ (7; (13.21) 
 ] 


52} 58 


9; = Ук Уж, Ру= Уз) У Ти Ун— ИУ Ув У. 
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Критерий Ё в (13.20) при у = 0 имеет Ё-распределение с 
1, (Л — Г — /) степенями свободы. Гипотезы Нд и Нв про- 
веряются так же, как в п. 13.3.2, только сумма квадратов оши- 
бок определяется как СК, = ОСК — СКг и имеет на одну сте- 
пень свободы меньше, чем в табл. 13.3. 

Более реалистической является модель с [+ У — | па- 
раметрическим описанием взаимодействий [217]. Она похожа 
на предыдущую, только в ней предполагается, что взаимодей- 
ствия пропорциональны произведению не главных факторов, 
а некоторых констант, оцениваемых по выборке, 


у: = АР а, где ог = 28, =0, хе - = 28) =. 


Пусть Г == = И — (1 Хх. /)-матрица ср, определенными, 
как в (13.21), тогда &; и В, определяются, как выше, а Аз = =, 
где [, — наибольшее собственное число матрицы Г’Г; Е = 
= (’— нормализованный собственный. вектор ГГ”, соот- 


— — 
ветствующий собственному числу [; С = {5;}’— аналогич- 
ный вектор Г’Г. Для проверки гипотезы Ну : А = 0 исполь- 
зуется отношение типа (13.20) с естественной заменой СКг на 
[. Однако распределение отношения сложнее и не сводится к 
Е-распределению. 


13.4. Модели дисперсионного анализа 
со случайными факторами 


13.4.1. Место моделей со случайными факторами. В ряде экс- 
периментов, проводимых по схеме дисперсионного анализа, 
значения, которые принимает некоторый фактор, нельзя оха- 
рактеризовать ничем, кроме того, что они «наудачу» извлече- 
ны из некоторой генеральной совокупности. В этом случае 
вряд ли целесообразно связывать с индивидуальными значе- 
ниями фактора числовые характеристики`их вклада в общий 
итог (и), а лучше оценить вклад фактора в целом в общую из- 
менчивость у. В этом случае, как указано в $ 13.1, и возникают 
модели со случайными факторами. При этом, если окажется, 
что вклад фактора в общую изменчивость достаточно велик, 
то целесообразно из профессиональных содержательных сооб- 
ражений найти характеристики значений фактора, предполо- 
жительно связанные с у, и изучить с помошью традиционного 
анализа их влияние на итог. Так, если нас интересует влияние 
личности рабочего на его производительность труда, то здесь 
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целесообразна случайная выборка среди всех рабочих, заня- 
тых однотипным трудом, и использование модели со случай- 
ным фактором — влиянием личности рабочего. Если же нас 
интересует различие в производительности труда рабочих с 
различным уровнем образования, то целесообразно разбить 
рабочих на группы по уровню образования и взять для срав- 
нения по нескольку человек из каждой группы. Здесь больше 
подходит смешанная модель вида 


Уз == Ф 0; 6, НЕ; и, (13.22) 


где у;;„ — производительность в К-й день 1-го рабочего с 1-м 
уровнем образования; 9, — среднее значение производитель- 
ности труда; 09; — постоянная, отражающая влияние 1-го 
уровня образования (20; = 0); (;; — случайный фактор, 
характеризующий отклонение от общего среднего производи- 
тельности труда /-го рабочего из группы с уровнем образова- 
ния [; &;;, — случайное колебание в производительности 
труда в Ё-й день эксперимента этого рабочего. 

Другой пример. При изучении воспроизводимости хими- 
ческих анализов часто говорят о средней межлабораторной 
ошибке [95]. В этом термине различные лаборатории рассмат- 
риваются как случайные, наудачу выбранные из совокупности 
лабораторий какой-либо отрасли. Для оценки этой ‘ошибки 
подходит модель со случайным фактором — названием лабо- 
ратории. Если же лаборатории можно классифицировать по 
какому-нибудь доступному и существенному для точности 
анализов признаку, например по уровню оснащения совре- 
менным оборудованием, то межлабораторную ошибку целе- 
сообразно определять отдельно внутри однородных по этому 
признаку классов. В частности, можно использовать модель 
вида (13.22), в которой первый фактор (1) соответствует уров- 
ню оснащения лаборатории современным оборудованием, а 
второй фактор (7) отражает условный номер лаборатории сре- 
ди однотипных по оборудованию лабораторий. 

В модели (13.22) мы встретились с так называемым иерар- 
хическим или группированным, или, как еще говорят, гнездо- 
вым планом, в котором каждому уровню первого фактора (1) 
соответствует свое подмножество значений второго фактора 
(Л. 

13.4.2. Однофакторный анализ. Простейшая математическая 
модель имеет вид 


у; = ОС, |8; #=1,..., Г; 1—1... 4, (13.23) 


где 9 — постоянная; &; — случайная составляющая, отра- 
жающая влияние 1-го выборочного значения фактора (; &;; — 
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случайная ошибка; Г | 7.1 случайные величины {5;} и 
{=;;} независимы в совокупности и СЕМ (0, 02), & ЕМ (0, 0). 
Поскольку оу = оё -- вг, величины о и о? называют компо- 
нентами дисперсии (наблюдения). 

Модель (13.23) существенно отличается от близкой модели 
с постоянными факторами (13.2). В ней: 1) все наблюдения 
имеют одинаковые математические ожидания и 2) наблюде- 
ния не являются статистически независимыми. В частности, 
положительно коррелированы наблюдения у;; и у; (1 5-Т), 
соответствующие одному и тому же значению (1) изучаемого 
фактора. Соответствующий коэффициент корреляции, равный 
© = 01/ (0Ё -| 02), называют коэффициентом внутриклассо- 
вой корреляции. 

Основная проверяемая гипотеза 


Н: 64 < №0, (13.24) 


где № > 0 — заданная константа. Определим $} и 52 так, как 
указано в табл. 13.1, и построим Р-отношение (13.5’). Статис- 
тический критерий для проверки гипотезы (13.24) Е < 
Ра. (1—1, (7 — ПГ) имеет мощность, выражающуюся 
только через центральное Р-распределение [148], 


ВР] Е (1—1, 1(/—1)) > Ра (1—1) Хх 


х № \. (13.25) 
1-5 ЛА | 
Точечные оценки для компонент дисперсии 

ОЕ = и 0 =/-1(5#— 5). (13.26) 


Одна из трудностей дисперсионного анализа со случайны- 
ми факторами состоит в том, что для негауссовских распреде- 
лений среднее арифметическое и среднеквадратическое откло- 
нения уже не являются устойчивыми оценками параметров 
положения и масштаба [14, п. 10.4.4]. Для того чтобы обойти 
эту трудность, в однофакторном случае может быть рекомен- 
дована следующая приближенная процедура: 

1) для каждой (по 1) серии наблюдений у;; = 1,..., 4) 
вычислить устойчивые оценки положения и масштаба. Обо- 
значить их у; И $;; 

2) заменить исходные серии наблюдений иу;; на 


ак = У + ЗЕ Ив (®=1,2,..., 4); 
(здесь и.-—9-квантиль стандартного М (0, 1)-распределения). 
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3) провести с наблюдениями 2;, обычный дисперсионный 
анализ по описанным выше формулам. 
13.4.3. Иерархический план на двух уровнях. В качестве при- 
мера рассмотрим сначала описанную. в п. 13.4.1 задачу по оп- 
ределению точности проведения химического анализа в лабо- 
раториях какой-либо отрасли промышленности. Предположим, 
что все лаборатории отрасли могут быть разбиты на группы, 
примыкающие к городам, в которых есть метрологические 
центры по данному виду анализа. Эксперимент состоит в том, 
что сначала наудачу выбирается несколько метрологических 
центров (городов), а затем для каждого из выбранных центров 
также наудачу отбирается несколько из примыкающих к не- 
му лабораторий, и в каждой из лабораторий проводится не- 
сколько повторных определений одного и того же образца. 
Простейшая математическая модель для рассматриваемого 
иерархического плана с двумя случайными факторами имеет 
ВИД 


У: в = с, -Нч;; в» р = 1,..., Г; ] = 1,..., 7; 
в=1,..., К, (13.27) 


где у;;к — результат А-го анализа в |-й лаборатории, примы- 
кающей к {-му городу; 0 — истинная (обычно неизвестная) 
определяемая концентрация; 65; — эффект 1-го метрологичес- 
кого центра; \;; — эффект /-й лаборатории 1-го центра и &;;, — 
случайная ошибка ^-го повторения анализа в |{-й лаборатории 
1-го центра; величины {5;}, {1;;}, {2;;н} взаимно независимы 
и нормально распределены с нулевыми средними и диспер- 
сиями 02, би и ог соответственно. 

Разложение общей суммы квадратов на части, соответству- 
ющие рассматриваемой модели, показано в таблице ДА для 
иерархического плана с двумя случайными факторами 
(табл. 13.4). 

Е-критерии для гипотез Не: 0ё = 0, На: ой = 0 строят- 
ся с помощью соответствующих отношений средних квадратов. 
Например, для проверки Н+ используется отношение ${/зщ, КО- 
торое в случае, когда гипотеза Н: верна, имеет Р(/— 1,1 (/-—1)) 
распределение. В рассматриваемом случае имеет смысл и оцен- 
ка суммы оу = о? -- оц + вг, которая является характерис- 
тикой воспроизводимости анализа в случайно выбранной лабо- 
ратории. 

заключение рассмотрим иерархическую смешанную мо- 
дель (13.22). В дополнение к сделанным выше (п. 13.4.1) пред- 
положениям допустим, что {2;} и {=;;} взаимно независимы, 
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Таблица 13.4 


Число | $ 
Источник из- , степеней — 
менчивости Сумма квадратов (СК) свободы | Е (СК) 


(чсс) 


№ п/п 


| | Между гра- У 2 [1—1 5 о’ От 
дациями к 2. — уни) ° "от 
первого фак- -КЛоЕ 
тора (5) 

2 | Между гра- КУ У (уни инь)* Г/—1) | я о: Кой 
дациями 1 
второго фак- 
тора (1) 
по первому 
фактору 
(5) 

3 Ошибка х, >, У, (Угль — Ужк+)2 [1 (К—1) 5е 0 

Е) Е 


С, СМ (0, 02) из,, Е М (0, 02). В этом случае таблица диспер- 
сионного анализа для модели (13. 22) ‚получается из табл. 13.4 
путем замены в первой строке 5$ на 56 ис: + Кот -- К/о* на 


0: - Ко + (Г — 1-К/ У? 


13.5. Ковариационный анализ (КА) и проблема 
статистического исследования смесей 
многомерных распределений 


13.5.1. Определение и модель ковариационного анализа. Сле- 
дуя [6], определим ковариационный анализ (КА) как совокуп- 
ность методов и результатов, относящихся к математико-ста- 
тистическому анализу моделей, предназначенных для иссле- 
дования зависимости среднего значения некоторого количест- 
венного результирующего показателя у от набора неколичест- 
венных факторов Х; и одновременно от набора количествен- 
ных (регрессионных или сопутствующих) переменных Х. Ре- 
зультирующий признак и может быть векторным (тогда говорят 
о многомерном ковариационном анализе). 
Неколичественные факторы Хх; задают сочетания условий 
(качественной природы), в которых производилась фиксация 
каждого из наблюдений (экспериментальных значений) уиХ, 
и описываются обычно с помощью так называемых индика- 
торных переменных. Среди индикаторных и сопутствующих 
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переменных могут быть как случайные, так и не случайные 
(контролируемые в эксперименте). 

Основные теоретические и прикладные разработки по КА 
относятся к линейным моделям. В частности, если анализи- 
руется схема из п наблюдений со скалярным результирующим 
признаком и, с А возможными типами условий эксперимента и 
с р сопутствующими переменными х(®, х(®), ..., х{Р), то ли- 
нейная модель соответствующего КА задается уравнениями: 


уе (бах... бан хай) Е (04 (Ха) д + 
+... Е 9р (Ха) -х”) а; (Ха), #=1,2,..., п, (13.28) 


где индикаторные переменные хФ = 1, если ][-е условие экс- 
перимента имело место при {-м наблюдении, и равны нулю — 
в противном случае; коэффициенты 095; определяют эффект 
влияния /-Го условия; х°) — значение сопутствующей перемен- 
ной Хх‘), при котором наблюдался результирующий признак 
у: (=1,2,....пу8=1,2,..., р); 0, (Хд:) — значения соот- 
ветствующих коэффициентов регрессии у по х(5), вообще го- 
воря, зависящие от конкретного сочетания условий экспери- 
мента, т. е. от вектора Хд; =(х%®, ..., Хх)’, а =;(Х д;) — вели- 
чина остаточных случайных компонент («ошибок измерения»), 
имеющих нулевые средние значения. Основное содержание 
КА — в построении статистических оценок для неизвестных 
параметров 91, ..., дк; Фи, ..., Ор и статистических критери- 
ев, предназначенных для проверки различных гипотез отно- 
сительно значений этих параметров. 

Если в (13.28) постулировать априори 6,, = ... = 9,= 
= 0, то получится модель дисперсионного анализа; если же 
из (13.28) исключить влияние неколичественных факторов (т. е. 
положить 9: =... = 09, = 0), то получится линейная мо- 
дель регрессионного анализа. Своим названием КА обязан 
тому обстоятельству, что в его вычислениях используются раз- 
биения ковариаций переменных у и Х точно так же, как в дис- 
персионном анализе используются разбиения остаточной сум- 
мы квадратов. 

Считается, что термин «КА» введен Р. А. Фишером в связи 
с рассмотрением одной частной схемы этой модели в $ 49 144-го 
издания книги «Статистические методы для исследователей» 
(пер. с англ. — М.: Статистика, 1958). 

Весьма полные сведения по современным методам КА мож- 
но найти в [29, 66, 119, 148]. 
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13.5.2. Оценивание неизвестных значений параметров и про- 
верка гипотез в модели КА. Запишем линейную модель КА 
(13.28) в матричном виде: 


У=Х, 9, -- Х9-- =, 


или! 


У = (Х„, Х) [) -- з, (13.28’) 


где У — пх 1! -вектор-столбец наблюдений результирующе- 
го показателя; Х„ — (п Хх А)-матрица плана эксперимента по 
неколичественным факторам Х,; ©, — (Ех 1)-вектор-стол- 
бец неизвестных параметров, соответствующих неколичест- 
венным факторам (общее среднее, главные эффекты, взаимо- 
действия ит. п.); Х — (п х р-матрица плана регрессионных 
(количественных) объясняющих переменных; ©9 — р_х 1)- 
вектор-столбец параметров (неизвестных коэффициентов рег- 
рессии); = — (п х 1)-вектор-столбец случайных остатков мо- 
дели, подчиняющийся нормальному распределению М (0, в* Хх 
х Ё), где остаточная дисперсия о? неизвестна (подлежит оце- 
ниванию). Предполагается, что тип условий эксперимента Хх 
(«способ обработки» —в исходной терминологии ДА) не влияет 
на матрицу плана регрессионных экспериментов Х, т. е. 
столбцы матрицы Х линейно не зависят от столбцов матрицы 
Хл (существенное предположение). К несущественным пред- 
положениям относятся допущения о том, что матрицы ХлиХ 
имеют полный ранг (соответственно Ё ир) и что не имеется ог- 
раничений на параметры ©„ (о простых модификациях опи- 
сываемых процедур в случае отказа от этих допущений см.., 
например, [119, п. 3.8.3]). 


—^щ —^ 
Для нахождения оценок ©, и 9 неизвестных параметров 
О. и © можно было бы формально рассмотреть (13.28’) как 
одну большую модель регрессии и применить к ней обычный 


1Запись (А, В), где А и В — матрицы с одинаковым количеством 
строк, означает матрицу, полученную присоединением столбцов матри- 


цы В к столбцам матэуицы А. Аналогично (ь} — это матрица, получен- 


ная присоединением к строкам матрицы С строк матрицы В (гдеС иВ — 
матрицы с одинаковым количеством столбцов). Существенное отличие 
моделей (13.28) —(13.28°) от внешне похожих на них моделей регресси- 
онного и классического ковариационного анализа — в зависимости ко- 
эффициентов @ от неколичественных переменных Хд. В этом случае 
анализ моделей (13.28) осуществляется с помощью специальных мето- 
дов расщепления смесей. 
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метод наименьших квадратов (см. $7.1, гл. 11, а также [14, 
п. 8.6.31). Однако можно добиться существенного упрощения 
анализа за счет использования специального строения матри- 
цы (Х,, Х) и наших знаний специфики модели ДА. С этой 
целью используется так называемый двухшаговый метод наи- 
меньших квадратов (подробнее о нем см. гл. 14). Этот метод 
(применительно к модели КА) состоит из следующих этапов: 

1. В модели (13.28’) полагаем © == 0 и находим по описан- 


ным В 6 13.2—13.4 правилам оценки 0 (0) и остаточную сумму 
квадратов (при условии © == 0): 


ОСК (0) = У'9У, (13.29) 
где @ = 1, — Х; (ХХ) "Ха. 


2. Заменяем в (13.29) У на У — Х - 9 и находим такое ©, 
которое минимизирует полученное выражение. Итак, 


ОСК (9) = (У—х9)' 9 (У—Х0); 


он =2х’о9х.@— 2х’ ЧУ =0, 
откуда 
9-— (Х’ОХ)-1-Х’ ЧУ. и 


3. Подсчитывается остаточная сумма квадратов для общей 
модели (13.28’) ковариационного анализа, равная [119, 
п. 3.7.1]: 


ОСК = шт ОСК (9) = (У—х.0)' 9 (У--Х09) = 
е 


= У’ оУ— 0’ Х’ ду. (13.31) 


— 


4. Для получения оценок ©; заменяем в выражении для 


м „^^ 
9; (0) вектор У вектором У—Х . 0. 

Проверка гипотез относительно параметров 9„; проводится 
так же, как в моделях ДА, только со значением ОСК, подсчи- 
танным по формуле (13.31) и с числом степеней свободы Ё, 
равным числу степеней свободы ОСК модели ДА минус ранг 
матрицы Х. Проверка гипотезы Не: 9 == 09 проводится с по- 
мощью статистики 


= 
— 0х, —. 
(яго `°Х 9) [5 Ск 
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которая в предположении справедливости гипотезы Но име- 
ет Е (1, Е)-распределение ({-ранг (Х)). 

13.5.3. Связь с проблемой статистического исследования сме- 
сей многомерных распределений. Посмотрим на модель рег- 
рессии результирующего показателя '] по объясняющим пере- 


менным х(), х@),..., хФ) как на одну из характеристик их 
закона распределения, например, функции плотности 
р (у; хо,..., хФ; 0 (Х}), У (Х))}, (13.32) 


зависящей от параметров регрессии ©9 и ковариационной 
матрицы «остатков» У, которые в свою очередь зависят от 
типа условий эксперимента Х ‚'. Тогда, анализируя данные вида 
(0, хе...) МР уг, 

зафиксированные при различных типах условий эксперимента 
Хл:, В действительности имеем дело с выборкой из смеси рас- 
пределений вида (13.32), поскольку при варьировании типа 
условий Х д; меняются и значения параметров © и \, от ко- 
торых зависит анализируемый закон распределения, а сле- 
довательно, меняется и вид искомой регрессионной зависи- 
мости [| (Х) = Е (Х). 

Игнорирование этого обстоятельства является причиной 
многих недоразумений и неудач в прикладных исследованиях, 
опирающихся на аппарат регрессионного анализа. Для объяс- 
нения этого обстоятельства представим себе, что при исследо- 
вании линейной парной регрессионной зависимости исходные 
данные ((х и} фиксировались при переключающемся 
(в неизвестные для исследователя моменты времени) режиме 
типа условий эксперимента: либо в режиме 1, в котором (при 
весьма высокой корреляции) регрессия имела монотонно воз- 
растающий характер, либо в режиме 2, в котором (при столь 
же высокой корреляции) регрессия имела монотонно убываю- 
щий характер (см. рис. 13.1). Очевидно, попытки выявить 
связь между у и х по такой смешанной выборке не увенчаются 
успехом: вычисления покажут, что связи нет. В то же время, 
если предварительно (или одновременно с решением задач рег- 
рессии) разбить имеющиеся данные на однородные (по усло- 
виям эксперимента) подвыборки и строить функции регрес- 


1Если объясняющие переменные случайны, то речь идет о (р-- 1)- 
мерной плотности, зависящей от параметров 9 и\. Если х(), ..., х(Р) 
неслучайны, то они интерпретируются как варьируемые (но известные) 


значения параметров, от которых зависит одномерная плотность р (и; 
Х; 0, У). 
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сии отдельно для каждой такой подвыборки, то удастся уста- 
новить тесную статистическую зависимость между исследуе- 
мыми переменными. 

Ковариационный анализ предоставляет исследователю один 
из возможных подходов к реализации описанной схемы. Дру- 
гие подходы опираются на статистический анализ смесей мно- 


у 


Рис. 13.1. Прямые 1, 2 и 3 — графики аппрокси- 
мирующих функций регрессии, построенных соот- 
ветственно по наблюдениям подвыборок: 1 (точ- 
ки), 2 (крестикн) и по объединенной выборке, 
состоящей из тех и других наблюдений 


гомерных распределений: оценку параметров смеси распреде. 
лений [11], модели типологической регрессии ША, 11, 82]. Под- 
робное описание этих методов предполагается дать в следую- 
щем томе данного издания. 


13.6. Влияние нарушений 
основных предположений 


Мы уже видели ранее, что отклонения от предположения нор- 
мальности распределения могут существенно сказываться на 
эффективности оценок среднего и дисперсии [14, п. 8.6.1 и 
10.4.4]. Проиллюстрируем еще раз этот факт на примере влия- 
ния эксцесса на величину доверительного интервала для 5*, 
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построенного по выборке большого объема. Согласно [14, 
п. 8.6.5] в нормальном случае доверительный интервал стро- 
ится по величине (п — 1)5/0?*, имеющей распределение 
/? (п — 1). Для $5?/0? в случае нормального распределения 


Е (5*/о°) = 1; (13.33) 
Ю (5*/о*) = 2/п — |. (13.34) 


При отличном от нуля эксцессе В, [14, п. 5.6.6] при любом 
п ситуация сильно меняется, так как, хотя (13.33) и остается 
тем же, вместо (13.34) имеем: 


О (52/0) = 2Ци — 1) + Вы. (13.35) 


При больших п отношение (13.34) к (13.35) приближается к 
1 - В./2, и поскольку 5 имеет приблизительно нормальное 
распределение, легко может быть подсчитан доверительный 
интервал для о*. В табл. 13.1 для разных значений В. показана 
вероятность Р того, что истинное значение 0? не попадает в 
95%-ный доверительный интервал, построенный согласно 
нормальной теории при больших значениях п. 


Таблица 13.5 [148] 


Эксцесс 
2 


—1,5 0 0,5 1 


Р [9-ю 6.10-3 | 0,024 0,1110, 1710,26 | 0,36 


о. ов 


Как видно по таблице, для реально встречающихся на 
практике распределений (см. [14, п. 6.1.111) истинная ошибка 
первого рода может быть очень большой, в несколько раз пре- 
вышая нормальную ошибку в 5%. 

Будем называть выводы, относящиеся только к постоян- 
ным факторам ДА, выводами о средних, а выводы, относящие- 
ся к случайным эффектам, — выводами о дисперсиях. При- 
мером первых являются критерии для проверки гипотез о 
главных эффектах и взаимодействиях в моделях с постоянными 
факторами и соответствующие доверительные интервалы. При- 
мером выводов о дисперсиях являются критерии равенства 
дисперсий в моделях со случайными факторами и доверитель- 
ные интервалы для компонент дисперсии. Нарушение предпо- 


ложений нормальности оказывает слабое влияние на выво- 
ды о средних и очень опасно при выводах о дисперсиях. Пер- 
вым на это обратил внимание Е. Пирсон [148, 234]. 

Другая опасность, подстерегающая исследователя при ис- 
пользовании ДА, — это не отраженная в модели коррелиро- 
ванность между наблюдениями. Рассмотрим простейшую мо- 
дель корреляции между последовательными наблюдениями. 
Предполагается, что сог (х:, х;41) = © для =|,.... п — |, 
а все остальные коэффициенты корреляции равны нулю. Воз- 
можны все о, такие, что |0| < 0,5. Некоторым обоснованием 
этого предположения является наблюдение Стьюдента [148, 
$ 10.1], вычислившего коэффициенты корреляции между по- 
следовательными анализами пяти различных химических 
свойств с выборками из одной и той же партии хорошо переме- 
шанного материала: 0,27; 0,31; 0,19; 0,09; 0,09. 

Для иллюстрации влияния отклонений от предположения 
независимости воспользуемся тем же методическим приемом, 
что и выше, а именно: построим при большом п доверительный 
интервал для среднего и исходя из предположения независи- 
мости наблюдений и подсчитаем Р — вероятность того, что 
95%-ный доверительный интервал не накроет истинное зна- 
чение и. Результаты показаны в табл. 13.2. Из нее следует один 
вывод: неучтенная корреляция последовательных наблюдений 
может серьезно влиять на статистические выводы. 


Таблица 13.6 [148] 


—0,4 —0,1 0,1 0,2 | 0,3 10,4 


о, —0,2 


10-5 | 0,002 | 0,011 оно [оно 0,12 10,14 


от 0.8 


Значительная неучтенная корреляция может возникнуть 
в моделях со случайными факторами при иерархической клас- 
сификации ($ 13.4), когда при построении модели и планиро- 
вании сбора данных пропускается один из источников варьни- 
рования результатов экспериментов. 

Влияние неравенства дисперсий наблюдений изучалось 
многими авторами. Общий вывод [148, $ 10.4]: в моделях с 
постоянными факторами его надо учитывать только в случае 
плохо сбалансированного распределения экспериментальных 
точек. 


ВЫВОДЫ 


1. Дисперсионным анализом называется метод организации 
(планирования), статистического анализа и интерпретации 
результатов экспериментов, в которых изучается зависимость 
количественной переменной у от сочетания градаций качест- 
венных переменных Х;. В ДА используются линейные мо- 
дели с постоянными и случайными факторами. Дисперсион- 
ный анализ с постоянными факторами можно рассматривать 
как специальный случай регрессионного анализа. Свое наз- 
вание ДА получил из-за того, что при проверке гипотез о влия- 
нии на у изучаемых факторов используется разложение суммы 


квадратов У (у; — и)? на слагаемые, соответствующие про- 
<- 


веряемым гипотезам. 

2. Простейшая модель ДА с одним постоянным фактором 
имеет вид у;; =6, 0, а;, ]|=1,..., Чу р =1,... Г, где 
3,0; =0, =;; ЕМ (0, 0°) и независимы между собой. Основ- 


ная гипотеза Н: ©, =... = 9, =0. Для ее проверки исполь- 
зуется критерий ЕЁ = ((—№)-!. х7 (ии) ИЕ — 


— 1-1 Хун) } где п =. ув = Уи у, = 
— ухи ут. Если Н верна, то Ё имеет ЕИ— 1 ‚п-1- распреде- 


ление. Если Н отвергается, то изучают, насколько 0; отли- 
чаются друг от друга. Для этого строят одновременные до- 
верительные интервалы для сумм У,с;9; (Ус; =0), называе- 
{ р 

мых сравнениями. 

3. Основными схемами организации ДА с двумя факторами 
являются: 1) перекрестная классификация, в которой каждая 
градация одного фактора сочетается в эксперименте с каждой 
градацией другого с математической моделью вида Еу;; = 


= 9 а; + В; - %:;, где Хе = 5Р; = 2 = 0; 2) иерар- 


хическая (гнездовая) классификация < моделью вида Еу;; = 
—= 9 о; -| В;;, где Хе: = = 0, при = = 0. Большинство ис- 


пользуемых на практике моделей ДА может быть получено 
путем различных сочетаний указанных основных схем орга- 
низаций экспериментов. 

4. Схемы ДА с постоянными факторами довольно устойчивы 
к нарушениям предположений о распределении случайных 
ошибок (нормальность, равенство дисперсий). Этого нельзя 
сказать о схемах ДА со случайными факторами. Нарушения 
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(фактически непроверяемых) предположений о характере рас- 
пределения эффектов случайных факторов (нормальность, не- 
зависимость) могут привести к существенным ошибкам при 
проверке гипотез и построении доверительных интервалов. 
5. Ковариационным анализом (КА) называется совокупность 
методов организации (планирования), статистического анализа 
и интерпретации результатов эксперимента или наблюдений, 
в которых изучается зависимость количественной переменной 
у от сочетания градаций (типов условий эксперимента) ка- 
чественных переменных Х ; и одновременно от набора количест- 
венных объясняющих переменных Х, которые в данной схеме 
называются сопутствующими. 

6. Основной метод, используемый при оценивании неизвест- 
ных параметров модели КА, — это двухшаговый метод наи- 
меньших квадратов. 

7. Если качественные переменные Х„ в схеме КА неконтро- 
Лируемы, то задача сводится к исследованию моделей рег- 
рессионного анализа на основании выборки, извлеченной из 
смеси генеральных совокупностей (количество компонент сме- 
си равно числу типов условий эксперимента, при которых ре- 
гистрировались выборочные данные). Эта задача предусматри- 
вает предварительное (или одновременное с процессом постро- 
ения искомых регрессий) разбиение исходной выборки на 
однородные (по условиям эксперимента) части и оценку функ- 
ции регрессии отдельно для каждой такой части. 


Раздел [У. СИСТЕМЫ ОДНОВРЕМЕННЫХ 
УРАВНЕНИЙ И ПРОГРАММНОЕ 
ОБЕСПЕЧЕНИЕ АППАРАТА 
СТАТИСТИЧЕСКОГО ИССЛЕДОВАНИЯ 
ЗАВИСИМОСТЕЙ 


Глава 14. ОЦЕНИВАНИЕ ПАРАМЕТРОВ 
СИСТЕМ ОДНОВРЕМЕННЫХ 
ЭКОНОМЕТРИЧЕСКИХ УРАВНЕНИЙ 


14.1. Системы одновременных уравнений 


14.1.1. Определение и специфика проблематики систем одно- 
временных уравнений. При изучении функционирования эко- 
номических систем исследователь обычно сталкивается со сле- 
дующей ситуацией. 

Состояние системы в каждый момент времени { описывает- 
ся набором переменных Д+,, ..., 2,„› среди которых есть как 


эндогенные (внутрисистемные), так и экзогенные (внешние по 
отношению к рассматриваемой системе). Между переменными 
существуют функциональные и статистические связи. К перво- 
му типу относятся тождества, вытекающие из определений 
и содержательного смысла переменных. Ко второму типу от- 
носятся поведенческие связи, являющиеся выражениями эко- 
номических законов, действующих в системе. Поскольку по- 
ведение экономических систем носит статистический характер 
{присутствуют случайные возмущения, погрешности, неуч- 
тенные факторы), то для описания поведенческих связей ис- 
пользуются регрессионные уравнения. В теории экономико- 
статистического моделирования систему взаимосвязанных рег- 
рессионных уравнений и тождеств, в которой одни и те же пе- 
ременные в различных регрессионных уравнениях могут одно- 
временно выступать и в роли результирующих показателей, 
и в роли объясняющих переменных, принято называть систе- 
мой одновременных (эконометрических) уравнений. При этом 
в соотношения могут входить переменные, относящиеся не 
только к периоду Ё, но и к предшествующим периодам, назы- 
ваемые лаговыми («запаздывающими») переменными. 

Для экономистов большой интерес представляет количест- 
венный анализ модели, т. е. нахождение оценок параметров 
на основании имеющейся в распоряжении исследователя ин- 
формации о значениях переменных. Первая из возникающих 
здесь проблем: можно ли в предложенной модели однозначно 
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восстановить значение некоторого параметра или же его оп- 
ределение принципиально невозможно на основе рассматри- 
ваемой модели? Это так называемая проблема идентифицируе- 
мости" — первоочередная на этапе формирования модели, 
поскольку прежде, чем переходить к процедурам оценивания, 
необходимо быть уверенным, что их применение имеет смысл. 

Проблема оценивания здесь также имеет свои особенности. 
Основная трудность состоит в том, что в эконометрических 
моделях переменная, играющая роль независимой (объясня- 
ющей) переменной в одном соотношении, может быть зависи- 
мой в другом. Это приводит к тому, что в регрессионных урав- 
нениях системы объясняющие переменные и случайные воз- 
мущения оказываются, вообще говоря, коррелированными. 
Наконец, в современной практике встречаются модели, име- 
ющие десятки и даже сотни уравнений (в том числе и нели- 
нейных), в связи с чем возникают и вычислительные трудности. 

Указанные обстоятельства обусловили необходимость ‚ по- 
строения специальной теории, изучающей статистический ас- 
пект экономико-математических моделей. К настоящему вре- 
мени довольно хорошо разработан ее раздел, относящийся к 
моделям, описываемым системами линейных уравнений. Име- 
ется ряд итоговых монографий (содержащих обширную биб- 
лиографию), среди которых отметим [46, 80, 106, 143]. Гл. 13 
и 14 [46], посвященные проблемам идентифицируемости и оце- 
нивания для систем одновременных уравнений, могут быть ре- 
комендованы для первоначального ознакомления с предметом. 

Современные исследования в указанной области состав- 
ляют содержание журналов «Есопотей!са» и «Фоигпа| о 
Есопотег1с$». 

14.1.2. Два традиционных примера. Прежде чем перейти к фор- 
мулировке общей линейной модели, рассмотрим в качестве 
иллюстраций два классических примера. 

Пример 14.1. Рассмотрим модель спроса и предложе- 
ния («крест Маршалла»). Спрос @ на некоторый продукт и его 
предложение ()’ зависят от цены р продукта. Рыночный меха- 
низм формирует цену таким образом, что спрос и предложение 
уравниваются. Наблюдению доступна равновесная цена и 
спрос (совпадающий с предложением). 

Возникающая здесь линейная модель выглядит следующим 
образом: 


= р, В, Ни, 


1В литературе распространен также термин «проблема идентифи- 
кации», который представляется менее удачным, поскольку зачастую 
«идентификация» используется как синоним термина «оценивание». 
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(«спрос пропорционален цене»), и < 0; 

= о, р, В м 

(«предложение пропорционально цене»), &› >> 0; 
Ч, — Ц. 


Величины и, и Ё=|,..., й, — случайные возмущения, 
имеющие нулевые средние. Оказывается, без дополнительных 
предположений (например, на структуру случайных возму- 
щений) интересующие экономистов параметры &; и В; одно- 
значно в этой модели определить нельзя, т. е. они неиденти- 
фицируемы. Точные определения и утверждения даны в сле- 
дующем параграфе. 

Пример 14.2. Содержательный смысл модели спроса 
состоит в утверждении, что потребительские расходы, т. е. 
спрос, пропорциональны доходу. В свою очередь доход есть 
сумма потребительских и непотребительских расходов. 

Математическая формулировка модели такова: 


с, = @ -- Ву, Е и,; (14.1) 
У = С 4, (14.2) 


где с — потребительские расходы; у — доход; 2 — непотреби- 
тельские расходы; и — случайное возмущение (учитывающее 
неполноту информации, незамкнутость системы ит. п.). Пред- 
полагается, что уровень непотребительских расходов задан 
извне, т. е. переменная 2 экзогенна и определяется независимо 
отсии. Случайные величины и,, & = |,..., И, некоррелирова- 
ны, имеют нулевые средние и одинаковые дисперсии о°. Тре- 
буется оценить параметры модели а, В, 09°. 

В (14.1) переменная у коррелирует со случайным возму- 
щением. В самом деле, 
{9 и ба И 


| —В 1—В 1—В 


Поэтому 


У: —= 


| 
Еи, (у, —Еу,) = ТВ Би? 5 0, 


и посылки метода наименьших квадратов для уравнения (14.1) 
не выполняются. Это приводит к тому, что обычные мнк- 
оценки параметров (14.1) оказываются смещенными и несос- 
тоятельными. Например, мнк-оценка параметра В имеет вид 


В — Вт, + (1--В) тхи -- Тиц (14.3) 


тт, и -- Тии 
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гх го гх 
т„, = — 2, т, 21 ЕН» п, =— Ш. 


Предполагая, как обычно, что Р-Ийт т,„ = 0 (это со- 
отношение всегда справедливо в силу закона больших. чисел, 


если 2, — детерминированные), Р-Пт т,, = т, где 
т, — некоторая константа, имеем 


Р-Йт В = В -|- (1 —В) 0?/ т», 


—- 02/2 


и, значит, Р-Пт В >В, если В<|1, и Р-|шВ ЗВ, 
если В > 1. 

Таким образом, при В == | оценка (14.3) несостоятельна. 
14.1.3. Общая линейная модель. В данной главе мы будем изу- 
чать линейную модель вида 


Вл У: + Вы У -...-- Ве у -Н и хи-Е...+ к хе ии; (14.4) 
1=[,..., 0: =1,..., @. 


Здесь у;; — значения эндогенных переменных в момент {#; 
х„ — значения экзогенных переменных в момент Ёи лаговых 
эндогенных переменных. Переменные х;, в момент времени # 
называются предопределенными. 

Совокупность равенств (14.4) называется системой одновре- 
менных уравнений в структурной форме. На коэффициенты 
(14.4) накладываются априорные ограничения, например, 
часть коэффициентов считаются равными нулю. Это и обес- 
печивает возможность статистическиого оценивания оставших- 
ся. 

Систему (14.4) удобно переписать в следующем матричном 
виде: 


Ву, -- Гх, —и., (14.5) 


где В — матрица порядка С Х С, состоящая из коэффициентов 
при текущих значениях эндогенных переменных; Г — матри- 
ца порядка Ц Хх К, состоящая из коэффициентов при предоп- 
ределенных переменных; 

'’. _—__ ’. #: 
У: = (Иль о Ус!) ‚ №: — (Хх: ... Хк!) ‚И; = (из, ... о Ис!) 
— вектор-столбцы. 


1Р-П1т — обозначение для предела по вероятности. 
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Предположим, что матрица В невырождена. Тогда уравне- 
ние (14.5) можно разрешить относительно уу: 


р (14.6) 


где П = —В-' — матрица размерности С Х К;\,= Ви, — 
случайное возмущение. Равенство (14.6) называется приве- 
денной формой системы одновременных уравнений. 

Введем обозначения: 


й ы и 
= СХ =Й : |: = (14.7 


’ ? р 


Ут “п Ч 


Тогда все уравнения (14.5) для всех периодов наблюдений 
могут быть записаны в виде одного матричного уравнения 


УВ’ ХХ Г’ = 3. (14.8) 


Эта компактная форма будет использоваться в дальнейшем. 


14.2. Спецификация модели 
и проблема идентифицируемости 


14.2.1. Идентифицируемость приведенной формы. Мы будем 
рассматривать модель, описываемую системой одновременных 
уравнений, имеющих структурную форму вида 


Ви РГх=ц, 1=1,..., п, (14.9) 


где матрица В порядка С Хх С невырождена. Для простоты 
будем считать, вообще говоря, стохастические переменные 
х; экзогенными. 

Спецификация модели помимо списка эндогенных и экзо- 
генных переменных включает в себя априорную информацию: 
ограничения на коэффициенты и гипотезу о случайных воз- 
мущениях и;, а также правило нормализации. 

Типичным примером априорных ограничений являются 
исключающие ограничения, выражающие то, что некоторые 
переменные заведомо не входят в отдельные уравнения и, сле- 
довательно, соответствующие им коэффициенты равны нулю. 

В качестве гипотезы о случайных возмущениях примем, 
что случайные величины и, независимы и имеют один и тот же 
закон распределения и, с нулевым средним. 

Предположим, что 1-е уравнение может быть разрешено от- 
носительно у;, и масштабы коэффициентов выбраны так, что 
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коэффициент при у;, в {-м уравнении равен единице. Это и есть 
правило нормализации. 

В рамках данной спецификации фиксируем какую-либо 
структуру 5, т. е. матрицы В, Ги распределение и, случай- 
ного возмущения (параметрами структуры будут элементы 
матриц В, Г и само распределение и„). Тогда вектор у, при 
заданном х;, будет иметь некоторое распределение Р? (х,). 
Поскольку далее х, фиксировано, мы будем употреблять для 


этого распределения более короткое обозначение Р?. 
Структуры $ и5 называются (наблюдаемо) эквивалентны- 
ми, если Р? = Р?, = 1, 
Параметр _ а называется ^ идентифицируемым в структуре 
$, если & = а для любой структуры 5, эквивалентной 5. Ины- 
ми словами, параметр & идентифицируем, если из равенств 


Р® == р, 1=1,...,п, следует, что @ = @. 

Структура $ называется идентифицируемой, если все ее па- 
раметры идентифицируемы. 

Рассмотрим вопрос об идентифицируемости приведенной 


формы 
у = х, \ь (14.10) 
связанной со структурной формой соотношениями 


П = — ВЕК, и, = В-Ты,. 


Предложение 1. Пусть гапк Х = К — числу эк- 
зогенных переменных. Тогда структура приведенной формы 
(14.10) является идентифицируемой. 


Доказательство. Пусть 5 = (Ц, р) и $ = (П, из) — две 
эквивалентные структуры, т. е. Р? = Р?, < п. Наряду с 


(14.10) имеем, что у, = Их, - ч, где случайные векторы 1; 
подчиняются распределению Ш. По предположению Е\у, = 


= Еу,. Поскольку \: и \, имеют нулевые математические 
ожидания, то Их, = Их,. Введем матрицу Ххк, столбцами 
которой являются К линейно независимых векторов х!,, ..., Ак. 


Тогда (П — П)Хк = 0 и, значит, в силу невырожденности 


Хк, П= И. 
Наконец, имеет место и равенство распределений ид = 


= и;, поскольку \,: = 9; — Их, п: = у, — Пх,, а распре- 
$ . — 
деления Р? и Р? случайных векторов у, и у, совпадают. 
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14.2.2. Проблема идентифицируемости для структурной фор. 
мы. Пусть $ = (А, и,), 5 = (А, их), где А = (В, Г. 
= (ВГ]. 

Предложение 2. Пусть гапКХ = К. Структуры 
$ и $ эквивалентны тогда и только тогда, когда существует не- 
вырожденная @ Хх С матрица О, такая, что А = БА и распре- 
деление и, совпадает с распределением Ол, (т.е. их = и,0-"). 

Доказательство. Пусть матрица В с указанными свойст- 
вами существует; у, = Их, + м,» и, = Ох, + п; — приве- 
денные формы, отвечающие структурам $ и $5. Поскольку В = 
= ОВ и Г= ОГ, то 


—= —В-1Г=В-1 0-ГО =В- ГИ. 
Распределения случайных векторов 1 и 1 также совпадают: 
И" — И, В=К, ОВ= и. р-' ОВ = и В=ь.. 


Следовательно, совпадают и распределения векторов у, и 


— 


у:. 

Обратно, пусть $ и $ — эквивалентные структуры. По- 
ложим О = ВВ-'. Тогда В = ОВ. Согласно предложению | 
из совпадения распределений у, и у, при всех { < л вытекает 
совпадение матриц П и Ц и распределений Ни и т. 


Но равенство — В-1Г = —В-'Г влечет равенство Г = ОГ. 
В свою очередь соотношение ит = их означает, что и,В = 


= ы=В, откуда вытекает требуемое свойство: и, = п;0-*. 


Далее мы будем предполагать выполненным условие пред- 
ложений [и 2 06 отсутствии мультиколлинеарности у экзо- 
генных переменных: гапК Х = К. 

Предложение | показывает, что весь класс эквивалент- 
ных структур обладает одной и той же приведенной формой. 
Из этого следует, что коэффициент матрицы А = [ВГ] будет 
идентифицируемым, если априорные ограничения обеспечи- 
вают однозначность его восстановления по матрице приве- 
денной формы. 

Для решения проблемы идентифицируемости можно вос- 
пользоваться и предложением 2, из которого следует, что мно- 
жество матриц структурных коэффициентов во всех структу- 
рах, эквивалентных данной структуре $, получается умноже- 
нием А слева на невырожденные матрицы из некоторого клас- 
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са М, который определяется априорными ограничениями. Ин- 
тересующий нас коэффициент будет идентифицируем тогда и 
только тогда, когда он инвариантен относительно преобразо- 
ваний структурной формы матрицами из М. 
14.2.3. Критерии идентифицируемости. Рассмотрим некото- 
рые наиболее важные типы ограничений и приведем критерии 
идентифицируемости, используемые в практических задачах. 

Будем предполагать, что априорные ограничения являют- 
ся линейными однородными функциями, каждая из которых 
зависит только от коэффициентов одного из уравнений струк- 
турной формы. Выясним, когда коэффициенты матрицы А мо- 
гут быть однозначно восстановлены по матрице приведенной 
формы П. 

Пусть 1к.— единичная матрица порядка К Хх К. Введем 
обозначение 


[| 


Соотношение ВИ -- Г = О между структурной и приве- 
денной формой теперь может быть записано в виде 


АМ = О, (14.11) 


где А — матрица порядка С х (а + К); \ — матрица по- 
рядка (С -- К) Х К, имеющая ранг К. 

Пусть а, — первая строка матрицы А. Тогда из (14.11) 
следует, что 


а. \ = 0. (14.12) 


Равенство (14.12) представляет собой систему из К (неза- 
висимых) уравнений относительно ( -|- К неизвестных — эле- 
ментов вектора 1. 

Согласно предположению априорные ограничения на эле- 
менты могут быть записаны в виде 


а,Ф = 0, (14.13) 


где Ф — матрица из С -|- К строк, имеющая столько столб- 
цов, сколько ограничений. 

Например, пусть априори известно, что коэффициент В15 = 
— 0. Тогда один из столбцов матрицы Ф имеет вид (0, 1, 0, 
.... 0)’. 

Из (14.12) и (14.13) следует, что элементы вектора @; яв- 
ляются решениями системы уравнений 


а [МФ] = 0. (14.14) 
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В силу правила нормализации (В. = 1) для идентифицируе- 
мости первого уравнения необходимо и достаточно, чтобы про- 
странство решений системы (14.14} было одномерным, т. е. 


гапк [МФ] = С+К-— 1. (14.15) 


Пусть Г — число ограничений. Тогда [\!Ф)] содержит 
К - Г, столбцов и для выполнения (14.15) необходимо, чтобы 
г >а-—[: 

для идентифицируемости какого-либо из уравнений необ- 
ходимо, чтобы число ограничений было не меньше числа урав- 
нений модели, уменьшенного на единицу. 

Если имеются только исключающие ограничения, т. е. 
априорная информация о равенстве нулю некоторых коэффи- 
циентов, то необходимое условие идентифицируемости опре- 
деленного уравнения таково: 

число неизвестных, исключенных из уравнения, должно 
быть по меньшей мере равно числу уравнений минус единица. 
Последнее условие может быть сформулировано следующим 
образом: 

число исключенных из уравнения экзогенных переменных 
должно быть не меньше числа участвующих в нем эндогенных 
переменных, уменьшенного на единицу. 

Сформулированные необходимые условия (так называемые 
правила порядка) в силу своей простоты являются весьма по- 
лезными при решении проблемы идентифицируемости, по- 
скольку при построении модели они позволяют сразу выявить 
неидентифицируемые уравнения. Однако эти условия могут 
оказаться далекими от достаточных. Необходимое и достаточ- 
ное условие (14.15) не годится для проверки идентифициру- 
емости модели, поскольку требует построения матрицы 
Тем не менее из него можно извлечь критерий идентифици- 
руемости и в терминах структурной формы (правило ранга). 

Первое уравнение системы идентифицируемо тогда и толь- 
ко тогда, когда гапК (АФ) = С — 1. Это утверждение может 
быть выведено непосредственно из (14.15), но мы получим его 
из соображений, связанных с инвариантностью коэффициентов 


при умножении структурной формы на допустимые матрицы. 
Запишем (14.9) в виде 


А», — Ир (14.16) 
где 2, = Шхи’. 


Применяя к (14.16) невырожденную (СХС)-матрицу О, 
получим преобразованную структурную форму Аг, = Ви, 
Матрица ЮО допустима, если преобразованная структурная 
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форма удовлетворяет априорным ограничениям, которые мо- 
гут быть записаны в виде аФ = 0 или, эквивалентно, 
е, (АФ) = 0, 

где е, = (1,0, ..., 0) — вектор длины С. Первая строка пре- 
образованной структурной формы имеет вид 4А, где 4, — 
первая строка матрицы О. Поэтому 


4; (АФ) = 0. (14.17) 


Идентифицируемость первого уравнения структурной фор- 
мы означает, что е.А = 4А. В частности, е.В = 4.В. Так как 
матрица невырождена, то е; = 41. Гаким образом (с учетом 
правила нормализации), вектор-строка 4, из (14.17) опреде- 
ляется однозначно; с точностью до пропорциональности ре- 
шение (14.17) есть е,. Следовательно, гапКк (АФ) = 4 — 1. 
В свою очередь это равенство влечет идентифицируемость пер- 
вого уравнения. Проиллюстрируем полученные выводы при- 
мерами. 


Пусть имеется следующая система, состоящая из двух урав- 
нений: 


Вали, -Е Бл2Ух Е ФаХь - 1х = Ши 
Волул: -— ВИ: Е аХи -Н УХ == Из, 


В силу соглашения о правиле нормализации В! = Вь2 = 1. 

Пример 14.3. Предположим, что априорные ограни- 
чения касаются только коэффициентов матрицы Г: \.. = 0, 
у›2 = 0. Отметим, что именно эти ограничения имеются в мо- 
дели спроса и предложения (пример 14.1). 

Для первого уравнения системы Ф = (0, 0, 0, 1)”, АФ = 
—= (0, 0)’. Ранг АФ равен 0 и, следовательно, первое уравне- 
ние идентифицируемо (здесь @ — | = 1 =2 0). То же самое 
имеет место и для второго уравнения. 
Пример 14.4. Пусть у;2 = 0, фз = 0. 
Для первого уравнения Ф == (0, 0, 0, ых и АХ = (у15, %52) = 
— (0, }›..)’. При условии, что о. = 0, мы имеем гапк (АФ) = 
= | = @ —1. Следовательно, первое уравнение идентифи- 
цируемо; аналогичный вывод можно сделать и для другого 
уравнения. 


Решая уравнение &, [\№Ф] = 0, которое в данном случае 
имеет вид 


| 


п. ль 0 


Л Л 0 
(В:1, Вл», Улл» 12) у 0. 0 = 0, 
0 1 | 
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и, пользуясь равенством В.: = 1, получаем однозначное вы- 
ражение параметров первого уравнения через параметры при- 
веденной формы. 

Пример 14.5. Пусть у = 0, %:. = 0. 
Для первого уравнения 


оо 
Ф-| 00|; № | ‚|. 
0 21 22 


] 
0 1 


Следовательно, гапК (АФ) = | (в предположении \.1\ оз =2 
-- 0), и первое уравнение идентифицируемо. Записывая под- 
робно уравнение а. [\!Ф] = 0, получаем систему 


Вал ла: -- Виа Ла Фа = 0; 
Ваз Л: + Во Лоз == 2 == 0; 


11 = 0; 
{12 = 0, 
откуда 
В, = 1, Ва = —Лаа/Ль, = — Л1а/ Лоо. 


Таким образом, для того, чтобы не возникло противоречие, 
должно выполняться определенное соотношение между коэф- 
фициентами приведенной формы. Встретившаяся ситуация, 
когда имеются ограничения на коэффициенты приведенной 
формы, носит название сверхидентифицируемости. 

Если мы будем оценивать коэффициенты матрицы приве- 
денной формы без учета ограничений, а затем из полученных 
оценок образуем оценку для Вл. (т. е. применим так называе- 
мый косвенный метод наименьших квадратов), то выражения 


—^ = —^ —^щ 
—лпи/ла и —л.:>/Л,, не будут равны друг другу. Косвенный 
метод наименьших квадратов непригоден для оценивания 
в случае сверхидентифицируемости. 

При рассмотрении проблемы идентифицируемости мы ог- 
раничились случаем, когда имеются априорные ограничения 
только на структурные коэффициенты. Ясно, что ограничения 
на вид распределения случайных возмущений могут сузить 
класс М допустимых преобразований так, что неидентифици- 


руемое без этих ограничений уравнение станет идентифици- 
руемым. 
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14.3. Рекурсивные системы 


Среди систем одновременных уравнений наиболее простыми 
являются рекурсивные системы, для оценивания коэффици- 
ентов которых можно применять обыкновенный метод наимень- 
ших квадратов. 

Система одновременных уравнений 


Ву, + Гх, = и, (14.18) 


называется рекурсивной, если выполнены следующие условия: 
1) матрица В является нижней треугольной матрицей, 
т. е. В;; = 0 при | >Ь Ви = ТГ; 
2) ковариационная матрица возмущений диагональна: 
Вии’ =» = (0; }}, 0;;=0 при Ё 52 |, 


3) каждое ограничение на структурные коэффициенты от- 
носится к отдельному уравнению. 

Предложение З3. Пусть гапк Х = К и матрица 
»Х невырождена, т. е. 0;; > 0 при { = 1,..., С. Тогда струк- 
турная форма рекурсивной системы идентифицируема. 

Доказательство. Пусть $ = (В, Г, ц,), $ = (В, Г, и;) — 
две эквивалентные структуры. Согласно предложению 2 су- 
ществует матрица ЮО, такая, что 


В = ОВ, х=рхУр,. (14.19) 


Матрица В-* представляет собой нижнюю треугольную 
матрицу с единицами на главной диагонали. Такой же будет 
и матрица О = ВВ-*, т. е. 4;; = 0, 1 > ах: = 1. Из второго 
равенства в (14.19) вытекает, что 4;;0;; = 0, [52 }, следова- 
тельно, 4;; = 0 и когда {>> |. 

Значит, О — единичная матрица; структуры $ и 3 сов- 
падают, что и требовалось доказать. 

Покажем, что процедура оценивания коэффициентов струк- 
турной формы рекурсивной системы методом наименьших 
квадратов, примененным к отдельному уравнению, приводит 
к состоятельным оценкам. 

Запишем {1-е уравнения рекурсивной системы для всех п 
периодов наблюдений в следующем виде: 


Уи = 20 -Н и, (14.20) 


где у = (Уп, ... Ут), В = [Ух Ус) — матрица, со- 
стоящая из первых { — 1 столбцов матрицы У, которая вместе 
с Х была введена в (14.7), ис;) = (ин, .. ит)’. Оцениванию 
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подлежит вектор коэффициентов 0 = — (Вл, ..., Вьз-ь Фай 
! 
. +9 У:к) . 
Будем предполагать, что выполнены следующие условия 


а) Р-Нт — ХМ = 0; 
п п 
5) Риш 2 7=$,,, 
п П 


где »,, — невырожденная матрица. 
Предложение 4. При выполнении условий а) и в) 
мнк-оценка параметра 6 для (14.20) состоятельна. 
Доказательство. Прежде всего покажем, что 


Р-Нт — У шо =0. (14.21) 


Транспонируем равенство (14.8), умножим его затем слева 
на В-!, а справа на У/и. Переходя к пределу по вероятности 


при п — со и пользуясь условием а), получаем в результате, 
что 


Рип УМ =Вв-1=У,,. (14.29) 
п 


Матрица Х диагональна, В-\ — нижняя треугольная мат- 


рица, поэтому Х,, — также нижняя треугольная матрица. 

Следовательно, равенство (14.22) влечет (14.21). 
Соотношение (14.21) показывает, что случайное возмуще- 

ние в 7-м уравненйи не коррелирует в пределе с эндогенными 

переменными, входящими в это уравнение. Поэтому для’ 1-го 

уравнения с точки зрения оценивания переменные ил; ..., И;-1 

ничем не отличаются от предопределенных переменных, что и 

—^мщ 


приводит к состоятельности оценки 9 наименьших квадратов, 
которая здесь имеет вид 


9= (2 7)-1 7’ уу=0- (2 2)-17' щь. 
Ясно, что Р-Ит 0 = 9, поскольку в силу а), в) и (14.21) 
п 


Р.Ш (2' 2)! 2’ що = РАйт (-- 7 2) — 


п 


= Р-ит -—— 2 ир= 1.00. 
п п 


Доказательство завершено. 


413 


Указанные выше привлекательные свойства рекурсивных 
систем вызывают желание использовать именно их в эконо- 
метрических исследованиях. К тому же можно привести аргу- 
менты в пользу того, что реальные экономические системы яв- 
ляются рекурсивными по своей природе. 

Например, многие экономисты считают модель примера 
14.1 несовершенной. Действительно, трудно представить себе 
рынок, где равновесные цены и спрос формировались бы од- 
новременно. Реалистичнее выглядит следующая ситуация. 
Цены в день # устанавливаются в зависимости от объема про- 
даж в предыдущий день, в то время как покупки в день # за- 
висят от цены товара в день . 

Математическая формализация приводит к системе 


Ре = бо - 9 ЧЕ-а-Н Ив, 
9: = Во НВ: р: Нч, 


где случайные возмущения и; и 9, можно считать независи- 
мыми, т. е. к рекурсивной системе. 

Необходимость рассматривать системы, отличные от ре- 
курсивных, возникает в связи с тем, что исследователь обыч- 
но располагает некоторыми усредненными (агрегированными) 
данными. Например, данные о рыночной конъюнктуре могут 
быть усреднены по недельным или месячным периодам. Пред- 
положим, что известны величины: Р, — средняя цена за не- 
делю Ёи ©, — средний объем ежедневных продаж за неделю 
1. Если считать время реакции рынка, как и раньше, равным 
одному дню, то соотношение Р, = @, -- 910,_, -|- и, вряд ли 
можно признать разумным. В этой ситуации рассмотренная в 
$ 14.1 модель представляется более естественной. 


14.4. Двух- и трехшаговый методы 
наименьших квадратов 


14.4.1. Наиболее распространенные методы оценивания сис- 
темы одновременных уравнений. Формальное применение мнк 
для получения оценок коэффициентов системы одновременных 
уравнений приводит, вообще говоря, к оценкам с плохими ста- 
тистическими свойствами — смещенным и несостоятельным. 
Поэтому область его применения ограничена рекурсивными 
системами. Для оценивания параметров точно идентифици- 
руемой системы можно применить косвенный метод наимень- 
ших квадратов, состоящий в оценивании обычным мнк коэф- 
фициентов приведенной формы и подстановке оценок в выра- 
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жения для коэффициентов структурной формы через коэффи- 
циенты приведенной формы, что приводит к смещенным, но 
состоятельным оценкам. В случае сверхидентифицируемости 
косвенный метод наименьших квадратов, как отмечалось в 
14.2, не применим. 
Для оценивания произвольных систем одновременных 
уравнений в настоящее время имеется довольно значительное 
количество методов, которые делятся на две группы. К пер- 
вой группе относятся методы, применимые к каждому урав- 
нению в. отдельности: двухшаговый метод наименьших квадра- 
тов (2 мнк), метод максимума правдоподобия с ограниченной 
информацией, называемый также методом наименьшего дис- 
персионного соотношения [46] или методом Комиссии Коулса 
[80], и некоторые другие. Вторая группа содержит методы, 
предназначенные для оценивания всей системы в целом. Это 
методы максимума правдоподобия и трехшаговый метод наи- 
меньших квадратов (3 мнк). Несколько особняком стоят ите- 
ративные методы, или методы неподвижной точки, которые 
обладают определенными вычислительными достоинствами, 
что немаловажно при исследовании систем большой размер- 
ности, однако статистические их свойства изучены в недоста- 
точной степени. 
14.4.2. Двухшаговый метод наименьших квадратов. Наиболее 
важным методом оценивания отдельного уравнения системы, 
получившим широкое распространение, является двухшаго- 
вый метод наименьших квадратов. Он дает состоятельные, во- 
обще говоря, смещенные оценки коэффициентов, является до- 
статочно простым с теоретической точки зрения и удобен для 
вычислений. | 


Запишем интересующее нас уравнение (для определенности, 
первое системы (14.4)) в виде 


у = УВЕ Х Уи, (14.23) 


где у = (И1,, ..., Ул)’ — вектор п наблюдений над переменной 
у; У, — матрица п Х & наблюдений над другими текущими 
значениями эндогенных переменных, входящих в уравнение; 
В — вектор размерности © Хх 1 структурных коэффициентов, 
относящихся к переменным из матрицы У,; Х, — матрица по- 
рядка п Х А наблюдений над предопределенными переменны- 
ми, входящими в уравнение; у — вектор размерности ЕЁ Х 1 
коэффициентов, относящихся к переменным из матрицы Ху; 
и — вектор случайных возмущений, имеющий размерность 
пх 1. 

Рассмотрим часть приведенной формы, состоящую из урав- 
нений, которые выражают эндогенные переменные, входящие 
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в правую часть (14.23), через предопределенные переменные 
системы: 


У, = ХИП! -НУ.. (14.24) 
Пусть п, — мнк-оценка матрицы Пу, т. е. 
п; = (Х'Х)-1Х' У, 


где Х = [Х.Х,]; Х, — матрица наблюдений над предопре- 
деленными переменными, не входящими в (14.23). 


Положим 
У, =ХП, =Х(Х' Х)-1Х' У; (14.25) 
У. =У,—У. (14.96) 


Тогда уравнение (14.23) может быть записано в следующем 
виде: 


у= 26 - в, (14.27) 
где =. ХИ, 8=[8’\’", е=и М, В. 


Применим к (14.27) метод наименьших квадратов. В резуль- 
тате для вектора неизвестных коэффициентов 6 получаем оцен- 


ку 
=, =, —] =>, 
а= | = (2' 7)-1 Ху= | У: Х, | у || 
с Хх. У, Х:Х ху 
которая в исходных переменных имеет вид 
хех и у 


с х; У, х! х, 
, ; —1 
х |” х (хх) ы (14.28) 
Хи 


Эта оценка и носит название оценки двухшагового метода 
наименьших квадратов параметров В и %.. 
Таким образом, существо двухшагового метода состоит в 
м 


замене матрицы У, расчетной матрицей У,, после чего иско- 
мые коэффициенты вычисляются обыкновенной регрессией 
= 
у на У иХ. 
Далее мы будем предполагать, что матрица У, состоит из 
наблюдений за эндогенными переменными с номерами 2, 
..., @ -- 1, матрица Х, — из наблюдений за предопределен- 
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ными переменными с номерами 1, ..., К (этого можно добиться 
изменением нумерации). Теперь введенные выше обозначения 
согласуются с обозначениями 14.|, 14.2, причем 


Ло ..ь Лок 
п, - | , 
Пи+1, 1. Пи,К. 


а первая строка матрицы А - |ВГ| имеет вид 
ба -= (1, — Ва, ....—_ Вы» 0, ..”) 0, —%„, ...) —\»ь, 0, ... 0) 


(для уравнения (14.23) мы имеем только исключающие огра- 
ничения). 

Пусть Г, — единичная матрица К ХА; О, — нулевая 
матрица порядка А Хх (К — #); @ =- П,О,1. Рассмотрим 
(2 Е ^) Хх К-матрицу 


Лемма 1. Пусть уравнение (14.23) идентифицируемо. 
Тогда 


гапк @, -- +. 


Доказательство. Из (14.14) вытекает, что ©, является един- 
ственным решением системы уравнений 


о А рр ет, 


где А -= [е. \ФТ, =: (1,0, ..., 0) — вектор длины С - К; 
Ф — матрица, с ПОМОЩЬЮ которой записаны соответствую 
щие исключающие ограничения: оз, „+2 = 0, ..., м1. в == 0, 

1, бет == 0, ..., м1, ськ == 0. Значит, гапк А = СК, и 
все строки А иной независимы. Линейная независимость 
строк с номерами 2, .... в +1, (+1... С- К влечет ут- 
верждение леммы. 

Предложение 0. Пусть уравнение (14.23) иденти- 
фицируемо и выполнены следующие условия: 


а) Р-Шт Хи = 0; 
п п 


6) Р- т ХХ =. 
п 
где . — невырожденная матрица. 
Условие а) всегда выполнено в силу закона больших чи- 


сел, когда х, детерминированы. Тогда 2 мнк-оценка состоя- 
тельна. 
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Доказательство. Из (14.25)—(14.27) следует, что 


Ре 9 


Ч -96-- (РИ (и УВ -- 9-7 2-ы. 
В силу предположений а) и в) 


Р-Ит П; -- п: (14.29) 


поэтому 


п 


. | , . | ры ‚ ] ‚ 
Р-Ит — У! и.-Р-Ит — И, Х:и = Ш.Р-Ит — Хун --0. 

п п П п п 

Следовательно, 

. | ‚ . 
Р-Ит — 2 и Р-Ит-— 
п 


п п п 


и о 
Хи 


. ] 
и нам осталось показать только, что Р-П _ 1'7 является 


невырожденной матрицей. 
Имеем в силу условия 6) и соотношения (14.29), что 


я. --РАйп-ь 7 Р-Р | Ш хх; @1 . 
п 


п п Г 
77: П. > хх ТТ, , 


и невырожденность %Х,, вытекает из леммы | и известного 
свойства положительно определенных матриц. 
14.4.3. Трехшаговый метод наименьших квадратов. Этот ме- 
тод применяется для оценки параметров системы одновремен- 
ных уравнений в целом. Сначала к каждому уравнению при- 
меняется двухшаговый метод с целью оценить коэффициенты 
и возмущения каждого структурного уравнения, а затем по- 
строить оценку для ковариационной матрицы возмущений. 
После этого для оценивания коэффициентов всей системы при- 
меняется обобщенный метод наименьших квадратов. 
Приведем формальное описание трехшагового мнк. Для 
этого рассмотрим систему одновременных уравнений, содер- 
жащую С эндогенных и К предопределенных переменных, ко- 
торые будем считать нестохастическими. Запишем 1-е урав- 
нение в виде 


у -= У, В, -ЕХ; у; и, (14.30) 
где у; — вектор, образованный из п -- | наблюдений над за- 
висимой переменной с номером Г; У; — матрица порядка 


п Хх в;, составленная из наблюдений за остальными эндоген- 
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ными переменными, входящими в это уравнение; Х; — матри- 
ца порядка л Хх К; наблюдений над предопределенными пере- 
менными 1-го уравнения. 

В обозначениях 


2, ПУХ, 8, |" 
у: 

[-е уравнение системы переписывается следующим образом: 

у; д, ни, (14.31) 


Если Х -- матрица порядка п ^х К, образованная из на- 
блюдений за всеми предопределенными переменными, то 


Хи ХИ, ти. (14.32) 


Ковариационная матрица возмущений и;. Х’и; имеет 
ВИД 


Бо; и; -- ЕХ'и и: Х 0: Х’Х, 


где о;; — дисперсия случайного возмущения, испытываемого 
{-м уравнением исходной системы. 


Применяя к (14.32) обобщенный метод наименьших квад- 
ратов, получаем оценку 


Ч; [ИЕ ХХ’ Х)-1 ХАТЕ; Х (Х'Х)-1 Ху, 


вектора коэффициентов 6;, которая, как нетрудно убедиться, 
совпадает с 2 мнк-оценкой для (14.30). 
Запишем все уравнения (14.32) в следующей форме: 


хи Гх 0. 0 , 

Х'’и, 0 Хх 2, о 6. ; 

Х' с 0х’ || 60 
Хи! 

Н*“ | (14.33) 
_Х' ис 


Если бы матрица ковариаций » была известна, то формаль- 
ное применение обобщенного метода наименьших квадратов 
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к (14. 33) привело бы к оценке параметров системы, содержа- 
щей матрицу ковариаций вектора возмущений 


011 Хх’ Х ба Х’ Х ... о1СХ” Х 

Оо1 хх с, ХХ... 06 Х'Х =У®хХ’Х 
06! х' Х 06? Х’ Х... 97676 х, Х 

с\-!--- Х-1©(Х’Х)- 1. 


Идея трехшагового метода наименьших квадратов состоит 
в использовании вместо № ее оценки $ == (5$;;), где 


| (иу:—7:4:)' (у: — 2; ау) , 
(пы —в0! (ив, 
В результате приходим к искомой 3 мнк-оценке 


5:}. 


их о. 0 

$ 0 22 Х ... 0 х 
0. Хх 
хх о. от- 
х У—1®(Х'Х)-* 0 х 2 к х 
о 0...’ 70 

хо 0- Х' и 
| о ХВ 0 |; |% | 

ох’. Х' ис 


которая после упрощений может быть записана в виде 
517: Х(Х' х)- 1х" 7,... 5161 Х (Х'Х)-1Х' 7, 

$ — х 
$6175 Х (х Хх) Х’ 76... $606 25Х (Х’ Х)-*Х’7с 
С 
У 5/71 Х (Х'Х)-1Х' у 


Рина 


У, х (Х'Х)-1Х' и; 
=1 


х 


где 5 — элементы матрицы $-". 
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В случае, когда матрица » не является диагональной, т. е. 
когда одновременные возмущения, входящие в различные 
структурные уравнения, зависимы, трехшаговая процедура 
имеет лучшую асимптотическую эффективность по сравнению 
с двухшаговой. 


14.5. Метод неподвижной точки 


Для оценивания параметров систем одновременных уравнений 
в настоящее время помимо классических методов, рассмотрен- 
ных в предыдущих параграфах, используются различные ите- 
ративные процедуры, основанные ка методе неподвижной точ- 
Ки. 

Запишем общую линейную модель (14.7), (14.8) в следую- 
щем виде: 


У = УС ХО - $3, 


где матрица С получена из — В” заменой диагональных эле. 
ментов последней нулями, В = — Г’. Соответствующая при- 
веденная форма имеет вид 


У=хХЕ-+У 
с 
Р=р(1—С)-*, У=О(—©)-1 
Положим У* = ХО (1 — ©С)-'. Тогда, очевидно, 
У— УСО У; (14.34) 
У* = УС ХО. (14.35) 


Соотношения (14.34), (14.35) называют переформулирован- 
ной формой системы одновременных уравнений. 

В методе неподвижной точки соотношение (14.34) рассмат- 
ривается как регрессионное уравнение, в котором помимо не- 
известных С и В неизвестными являются и объясняющие пе- 
ремевные У*, для которых должно выполняться соотношение 
(14.35). Оказывается, при выполнении некоторых дополни- 
тельных условий С, В и У* определяются однозначно (дока- 
зательство использует теорему о неподвижной точке, отсюда 
и название метода). Более того, они могут быть найдены при 
помощи следующей итеративной процедуры. 

Начальное значение У’ (нулевое приближение для \*) 
берется произвольным, после чего первые приближения С! и 
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0: для Си О вычисляются из регрессии У на У° и Х, т.е. из 
соотношения 


У = У С: -- ХО" -- \1. 


Следующее приближение У! для У* определяется равенст- 
ВОМ 


У! -- \° (С1-- Хр:. 
Далее указанный процесс повторяется: 
У = У —1 (5 ХОЗ - \?, 
У: = У—1 С-- ХВ, 
$=2, 3.... 


При этом 
\* = Р-Пт Уз, С=Р-Ит С$, О = Р-Им 0». 
$ $ 5 


Таким образом, алгоритм метода неподвижной точки пред- 
ставляет из себя комбинацию метода наименьших квадратов 
и итерационного метода Якоби решения системы линейных 
алгебраических уравнений. На практике, однако, было уста- 
новлено, что этот алгоритм далеко не всегда является сходя- 
щимся. Для улучшения сходимости были предложены раз- 
личные его модификации. Например, в релаксационном ме- 
тоде неподвижной точки приближение У\ для У* находится 
по формуле 


У: == а -|- (1 — о) \-—1, 


где У = У: |- ХОз; о — некоторая постоянная, а 
Е (0, 2). Имеются также модификации, цель которых состоит 
в уменьшении объема вычислений (рекурсивные методы не- 
подвижной точки). Отметим, что теоретические свойства оце- 
нок, полученных по методу неподвижной точки, изучены не- 
достаточно. Показано, однако, что если соответствующие ите- 
ративные процедуры сходятся, то полученные оценки пара- 
метров являются состоятельными. Исследованы свойства 
метода для малых выборок и произведено его сравнение с дру- 
гими методами при помощи. численного моделирования. 
Имеющиеся здесь результаты носят достаточно противоречи- 
вый и неполный характер. В экспериментах был замечен один 
большой недостаток метода [106]: оценки являются неустой- 
чивыми и не всегда сходятся к какому-либо одному решению. 
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14.6. Сравнение методов 


К настоящему времени предложено значительное количество 
методов состоятельного оценивания параметров систем одно- 
временных эконометрических уравнений. Как отмечено в 
14.4.1, они могут быть разбиты на две группы. 

Первую группу составляют методы ограниченной инфор- 
мации. Представителями оценок этой группы являются 2 мнк- 
оценки (см. 14.4.2) и оценки максимального правдоподобия с 
ограниченной информацией. Можно показать, что 2 мнк-оцен- 
ки и оценки максимального правдоподобия с ограниченной 
информацией асимптотически эквивалентны. 

Вторую группу составляют методы, использующие полную 
информацию о системе, т. е. о строении ее уравнений и о сте- 
пени их стохастической зависимости. Наиболее известными 
представителями этой группы являются трехшаговый метод 
наименьших квадратов, рассмотренный в 14.4.3, и метод мак- 
симального правдоподобия. Между оценками, получаемыми 
при помощи этих методов, существует тесная взаимосвязь: 
3 мнк-оценки можно рассматривать в качестве первого при- 
ближения оценок метода максимума правдоподобия, по оп- 
ределению минимизирующих функцию плотности распреде- 
ления наблюдений (в предположении, что они распределены 
по нормальному закону). Более того, указанные оценки асимп- 
тотически эквивалентны. 

Основываясь на асимптотике оценок, можно утверждать, 
что если отклонения в уравнениях нормально распределены, 
то оценки с полной информацией для выборок большого объе- 
ма будут более эффективны, чем оценки с ограниченной ин- 
формацией. Однако уместна ли апелляция к асимптотическим 
свойствам оценок в условиях малых выборок и невозможности 
эффективной проверки гипотезы о нормальном распределении 
отклонсний? 

Другой важный вопрос связан с устойчивостью оценок по 
отношению к ошибкам спецификации, т. е. к неправильно 
выбранной форме связи, автокоррелированности или гетеро- 
скедастичности отклонений, нарушениям гипотезы о нормаль- 
ности возмущений и т. д. 

К сожалению, ответов, основанных на теоретических рабо- 
тах, на поставленные вопросы на сегодняшний день не су- 
ществует. [Го-видимому, единственным инструментом иссле- 
дования свойств оценок параметров одновременных экономет- 
рических уравнений в условиях конечных выборок является 
метод статистических испытаний, или метод Монте-Карло. 
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Приведем некоторые общие выводы, на которых сходятся 
авторы большинства статистических экспериментов. 

1. Все методы дают смещенные оценки. 

2. При большом количестве наблюдений теоретические 
выводы, основанные на асимптотических свойствах, в основном 
подтверждаются. 

3. В условиях малых выборок предпочтительность одного 
метода другому может меняться при переходе от одной эконо- 
метрической модели к другой. Иногда, вопреки всем статис- 
тическим аргументам, лучшим оказывается обыкновенный ме- 
тод наименьших квадратов. 

4. Оценки с ограниченной информацией оказываются бо- 
лее устойчивыми к ошибкам спецификации модели. Наоборот, 
оценки с полной информацией весьма чувствительно реаги- 
руют на изменения структуры. 

На практике при оценивании параметров конкретных од- 
новременных уравнений принимаются во внимание не только 
статистические свойства оценок, но и соображения вычисли- 
тельного характера. 

К сожалению, вплоть до настоящего времени одним из наи- 
более распространенных методов оценивания является обыч- 
ный мнк (который, как показано в 14.1.2, не является состоя- 
тельным). Из состоятельных методов наиболее часто исполь- 
зуется 2 мнк, который удобен и с точки зрения объема вычис- 
лений. Применение методов с полной информацией сдержива- 
ется большой размерностью задач оценивания (число уравне- 
ний достигает иногда несколько сотен и даже тысяч), а также 
отсутствием удовлетворительных пакетов программ. 


ВЫВОДЫ 


1. Одновременные уравнения возникают при изучении слож- 
ных систем, поведение которых описывается совокупностью 
законов, связывающих характеристики системы. Статисти- 
ческое моделирование таких систем осуществляется при по- 
мощи регрессионных уравнений. При этом переменные, явля- 
ющиеся объясняемыми в одном уравнении, в других уравне- 
ниях могут играть роль объясняющих. 

2. Восстановление коэффициентов системы одновременных 
уравнений возможно лишь при наличии определенной апри- 
орной информации, например, равенства нулю каких-то ко- 
эффициентов или функций от них. Первый этап исследования 
модели направлен на то, чтобы ответить на вопрос, достаточно 
ли этой априорной информации, для чего используются кри- 
терии идентифицируемости (правила порядка и ранга). В слу- 
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чае неидентифицируемости обычно модель должна быть моди- 
фицирована. 

3. Простейшими системами являются рекурсивные системы, в 
которых матрица коэффициентов при эндогенных переменных 
имеет треугольный вид. Такие коэффициенты идентифицируе- 
мы, И для их оценивания используется обычный метод наи- 
меньших квадратов. 

4. Для оценивания коэффициентов систем одновременных 
уравнений в общем случае используются специальные мето- 
ды: двух- и трехшаговые методы наименьших квадратов, 
методы неподвижной точки и др. Наиболее употребительным 
является двухшаговый метод наименьших квадратов, который 
дает состоятельные оценки, достаточно хорошие и для конеч- 
ных выборок. Он применяется к каждому уравнению в отдель- 
ности и состоит в вычислении регрессии эндогенных объяс- 
няющих переменных, входящих в п-е уравнение, на все пред- 
определенные переменные системы, а затем в использовании 
для оценивания искомых коэффициентов п-го уравнения вмес- 
то данных значений объясняющих переменных их оценок, по- 
лученных на первом шаге. 


Глава 15. ПРОГРАММНОЕ ОБЕСПЕЧЕНИЕ 
СТАТИСТИЧЕСКОГО ИССЛЕДОВАНИЯ 
ЗАВИСИМОСТЕЙ 


Методы статистического исследования зависимостей, в осо- 
бенности регрессионный анализ, анализ временных рядов, 
дисперсионный анализ, анализ таблиц сопряженности, пла- 
нирование эксперимента, наиболее употребительны среди ме- 
тодов обработки данных в различных областях науки и тех- 
ники. Соответственно к настоящему времени существует и 
продолжает разрабатываться обширное программное обеспе- 
чение, связанное с исследованием зависимостей. Ниже кратко 
рассмотрены программные средства — пакеты и библиотеки 
программ, доступные пользователям в СССР, а также наибо- 
лее интересные, на наш взгляд, для обеспечения статистичес- 
кого исследования зависимостей зарубежные пакеты и библио- 
теки. Основные сведения о пакетах и библиотеках программ 
приведены в табл. 15.1. 

В табл. 15.2 приведены данные о разделах статистического 
исследования зависимостей, охватываемых пакетами и биб- 
лиотеками программ. Номера вертикальных граф табл. 15.2 
соответствуют следующим разделам и методам статистическо- 
го исследования зависимостей: 
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1. Корреляционный анализ: 

а) вычисление и анализ значимости множеств частных 
и множественных коэффициентов корреляции; 

6) анализ коэффициентов корреляции Спирмэна, Кен- 
далла и др. 

2. Регрессионный анализ: 

а) линейная множественная регрессия; 

6) отбор переменных в линейной регрессии методом 
полного перебора или «ветвей и границ»; 

в) пошаговые процедуры отбора переменных; 

г) регрессия на главные компоненты; 

д) гребневая регрессия и другие виды регрессии в ус- 
ловиях мультиколлинеарности; 

е) робастная регрессия; 

ж) полиномиальная регрессия с подбором степени 
полинома; 

3) регрессия нелинейная относительно оцениваемых 
параметров; 

и) оценивание параметров стандартных нелинейных 
регрессионных моделей (логистическая, экспоненциаль- 
ные и другие кривые); 

к) непараметрическая регрессия. 

3. Дисперсионный анализ (ДА). 

4. Статистическое исследование зависимостей в случае не- 
количественных переменных и переменных смешанной 
природы: 

а) стандартный анализ таблиц сопряженности; 

6) логлинейный анализ таблиц сопряженности; 

в) выравнивание шкал (оцифровка, переход к бинар- 
ным переменным). 

5. Статистический анализ систем структурных экономет- 
рических уравнений. 

6. Анализ временных рядов. 

Приведем теперь сведения о программном обеспечении не- 
которых разделов статистического исследования зависимостей, 
не включенные в табл. 15.1, 15.2. 

Анализ временных рядов. Дополнительная информация 
приведена в табл. 15.3. 

Логлинейный анализ таблиц сопряженности. Соответству- 
ющее программное обеспечение описано в [91, 23]. 

Анализ нечисловой информации. Программное обеспечение 
обработки нечисловой информации методами оцифровки пред- 
ставлено в [121], корреспонденс-анализа — в [221]. 

Отбор переменных в регрессионном анализе. Программа, 
реализующая метод «ветвей и границ» и некоторые другие ме- 
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($194 
"пт и 15 УПО | -8014 19}19шо) [> 
[691] не4140ф |‘СЛ/5О ‘50| 048/098 ИЯ! ‘э1ем}405 ААУ | -трэшоч) «а\я 


—а 
р. 


Пакет или 

библиотека а 6 а 6 В в д е 
ПНП—_БИМ! да | да | да | нет | да | нет | нет | да | 
ППСА | да | да | да | нет | да | да | да | да | 
ССОД. да да да нет да нет нет пет 
Тартуского орде- 
на Трудового 
Красного Знамени 
государственного 
университета 
ППМС да да да нет да нет нет нет 
Института кибер- - 
нетики АН Эст 
ССР ___ 
ОТЭКС | нет | нет | нет | нет? нет | нет | нет | нет | 
СОД—ГС | да | пет | да | нет | нет | нет | нет | нет | 
СОРРА-2 | нет | нет | да | нет | да | нет | нет | нет | 
ОТА$ | да | не | да | нет | да | нет | нет | нет | 
САОН | да | пет | да | нет | да | нет | нет | да | 
МАЯ (Библиотеки да | да | да | нет да да да да 
подпрограмм 
МАКК8 МАВКОЭ) 
СЕМЗТАТ | да | да | да | нет | да | да | да | да | 
Ом | да | да | да | кет | да | нет нет | да | 
РЬ5ТАТ | да | да | да | нет | да | нет | нет | да | 
МЗ, | да | да | да | да | да | нет | нет | нет | 
$Р5$ | да | да | да | нет | да | нет | нет | нет | 
$А$- | да | да | да | нет | да | нет | нет | нет | 
ВМОР* | да | да | да | да | да | нет | нет | да | 


Ч ии поичвновивь читали иваново» чить 


\ Список реализованных методов взят из [111]. 

? См. графу «Примечание» в табл. 15.1. 

3 Для проведения нелинейной регрессии можно использовать процедуры  Поис 
4 В версиях 1982, 1983 гг. имеются программы логлинейного анализа и анализа 
5 В версии 1975 г. отсутствует. 
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Таблица 15.2 
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Таблица 15,3 


е 


‚< д 
ое >; 
Пакет или библно- Организация- ЭВМ Зо Язык прог- р Е 
тека программ разработчик 35 раммирования о 
-- = 
©: =: 
Пакет промышлен-|РВЦ ЦСУ ЕСЭВМ | ОС [101] 


ных программ для | РСФСР, 

анализа и прогноза |г. Москва 

временных рядов 

ПАРИСС Киевский орде- | ЕСЭВМ | ОС Фортран | [120] 


на Ленина го- | (модели 
сударственный | 1022 и 


университет выше) 
им. Т. Г. Шев- 
ченко, г. Киев 
МАВР То же ЕСЭВМ | ОС » [120] 
(модели 
1045 и 
выше) 
Пакет ДЕЛЬТА- |Институт ки- |ЕСЭВМ | ОС | Фортран | [36] 
СТАТ (^-стат) бернетики АН Ассемблер 


для обработки УССР, г. Киев 
данных в интерак- 
тивном режиме 


Т5А МАЯ, Велико- |Широкий| — Фортран | [254] 
британия круг 
ЭВМ 


тоды отбора, описана в [87]. Отбор в условиях многомерной 
функции отклика рассматривается в [151]. 
Математическое обеспечение прикладного статистического 
анализа для мини- и микроЭВМ рассматривается в [83, 157]. 
Дополнительную информацию по вопросу программного 
ооеспечения статистического анализа можно получить в [24, 
69, 1881. 
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ПРИЛОЖЕНИЯ. МАТЕМАТИКО-СТАТИСТИЧЕСКИЕ ТАБЛИЦЫ 


Таблица П.1 


Значения функции плотности ф(х)=ф(х; 0; 1) стандартного 
нормального закона распределения 


1 
х) —= —х?/2 
ф (х) == е 
х |®ФО) | х1Ф() | х | 94) х ф (х) х ф (х) х Фф (х) 

0, 0010, 398910,50]0,352111,00]0,2420| 1,50 |0, 12951 2,00 10,0540] 2,50] 0, 0175 
0,0510,398410 , 5510 ,34291 , 0510,22991 1,55 |0, 1200] 2, 05 |0, 0488] 2 ‚5510, 0154 
0, 10]0,3970]0,6010,33321 ,10|0,217911,60 0, 110912,1010,0440] 2,601 0,0136. 
0, 150 ,3945!0,65]0,323011 , 1510, 2059] 1,65 |0, 10231 2, 15 |0, 0396] 2,65 [0,0119 
0,2010,391010,700,3123И ‚200, 19421 1,70 |0, 09401 2,20 0, 0355] 2,70 | 0,0104 
0,25]0, 386710, 7510,30111 ,25]0, 1826] 1,75 10,0863] 2,25 10,0317] 2,75 | 0, 0091 
0,30]0,381410,8010,289711 ‚3010, 1714] 1,80 [0,07901 2,30 10,0283] 2, 80 | 0,0079 
0,3510, 375210, 8510,2780И ‚3510, 16041 1,85 10,0721 2,35 |6, 02521 2,85 |0, 0069 
0,4010,368310,9010, 266111 , 40]0, 1497] 1,90 [0,0656| 2,40 [0,0224] 2,9010,0060 
0,4510, 360510 ,95]0, 25411 ‚450, 1394] 1,95 10,0596] 2,45 |0, 0198] 2,951 0,0051 


3, 00| 0,0044 


Пример. Требуется определить значение функции плотности 
ф (х; а; 0) нормального закона в точке х = 3,36 при среднем а =1и 
среднеквадратическом отклонении с == 2. 

Подсчитываем ху = (х — а)/с = (3,36 — 1)/2 = 1,18. 

2. Находим с помощью таблицы значение функции Ф (х; 0; 1) в 
точке ху = 1,18, прибегая в случае необходимости к линейной 
интерполяции, а именно: 

АХо— 


Хх 
——— (Ф(ж: 0; —ф(хо; 0; 1], 
3 —Х: 


Ф (хо; 0; 1=Ф(х; 0; П — 


где х, и х. — два соседних табличных значения аргумента 
(х‹ < х.), между которыми находится интересующее нас значение хо. 
В нашем примере 


1,18—1,15 


1,18; 0; 1) =$ (1,15; 0; 1) — ———[Ф(1,15)—Ф(1,20)] = 
Ф( )=Ф( ) 200—115 [Ф (1,15) —Ф (1,20)] 


3 
=0,2059 — -— (0,2059—0,1942)=0,199. 


3. Подсчитываем ф (х; а; ©) с помощью формулы 
Хх — 


] а ] 
ф(х; а; в) ==— ф ; 0; 1] = — (1, 18; 0; 1) =0,0995. 
с (9 2 
Замечание. В силу четности функции ф (х) для нахождения 
ее значений при отрицательных величинах аргумента доста- 
точно найти из таблицы ее значение при том же самом, но поло жи- 


тельном аргументе [т. е. Фф (—хо) = Ф (х) при любом ху]. 
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Таблица П.2 


Значения функции Ф(х) =Ф(х; 0; 1) стандартного 
нормального распределения 


1 —12/2 
<= ) 4 

х | Ф (х) х Ф (х) х Ф (х) 

0,00 0, 500000 1,00 0, 841345 2,00 0,977250 
0,05 0, 519939 1,05 0, 853141 2,05 0, 979818 
0, 10 0,539828 1,10 0, 864334 2,10 0, 982136 
0, 15 0, 559618 1,15 0, 874928 2,15 0, 984222 
0,20 0, 579260 1,20 0, 884930 2,20 0, 986097 
0,25 0, 589706 1,25 0,894350 2,25 0,987776 
0,30 0,617911 1,30 0, 903200 2,30 0, 989276 
0,35 0,636831 1,35 0, 911492 2,35 0,990613 
0,40 0,655422 1,40 0, 919243 2,40 0,991802 
0,45 0,673645 1,45 0.926471 2,45 0,992857 
0,50 0,691463 1,50 0, 933193 2,50 0, 993790 
0,55 0, 708840 1,55 0,939429 2.55 0, 994614 
0,60 0, 725747 1,60 0, 945201 2,60 0, 995339 
0,65 0, 742154 1,65 0, 950528 2,65 0, 995975 
0, 70 0, 758036 1,70 0, 955434 2,70 0, 996533 
0,75 0,773373 1,75 0, 95994 1 2,75 0,997020 
0,80 0,788145 |, 80 0,964070 о, 80 0, 997445 
0,85 0,802338 1,85 0, 967843 2,85 0, 997814 
0,90 0, 815940 1,90 0, 971283 2,90 0,998134 
0.95 0, 828944 1,95 0, 974412 2,95 0,998411 


3,00 0, 998650 


Пример. Требуется определить значение функции распреде- 
ления Ф (х; а; 0) нормального закона в точке х = 3,36 при среднем 
а = 1 и среднеквадратическом отклонении 9 = 2. 

1. Подсчитываем ху = (х — а)/в = (3,36 — 1)/2 = 1,18. 

‚2. Находим с помощью таблицы значение функции Ф (х) в точке 
Хо = 1,18, прибегая в случае необходимости к линейной интерполяции, 
а именно: 


Ф (0) =Ф (1) и [Ф (2, )—Ф (2, 
2 АТ 


где хи х. — два соседних табличных значения аргумента 
(х, < х.), между которыми находится интересующее нас значение до. 
В нашем примере 

1,18—1,15 


Ф(1,18)=Ф (1,15 
(1,18) =ФИ,15) + 1,20—1,15 


[Ф (1,20) —Ф (1,15)] = 
3 
=0,8749 -- — (0,8849 —0,8749) =0,8809 
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Замечание. При отыскании значений Ф (х) для х < 0 сле- 
дует пользоваться соотношением Ф (х) = 1 — Ф (—х). Например, если 
надо найти значение Ф (х) в точке х = —0,25, то имеем: 
= Ф (0,25) = 0,5897, 

— 0,5897 = 0,4103. 


так 


что 


Ф (—х) = 
Ф (-- 0,25) =1-—Ф (0,25) = 


|1 — 


Таблица П.3 
Значения б-квантилей из стандартного нормального распределения 


4 Ч М | а а Ча 9 Ча 
0,50 | 0,000000 1 0,70 | 0,524491 | 0,90 | 1,281552 | 0,983 120072 
51 025069 1 553385 91 340755 984 144411 
52 050154 2 582842 92 405072 | 0,985 | 2, 170090 
53 075270 73 612813 93 475791 | 986 197286 
54 100434 74 643345 94 554774 987 226212 
0,55 |0, 125661 | 0,75 | 0,674490 | 0,95 | 1,644854 988 257129 
56 150969 76 706303 96 750686 989 290368 
57 176374 77 738847 97 880794 |0,990| 2,326348 
58 201893 78 772193 971 895698 991 365618 
59 227545 79 80642 1 972 911036 992 408916 
0,60 | 0,253347 | 0,80 | 0, 841621 973 926837 993 457263 
61 279319 81 877896 974 943134 994 512144 
62 305481 82 915365 | 0,975 | 1,959964 | 0,995| 2,575829 
63 331853 83 954165 976 977368 996 652070 
64 358459 84 994458 977 995393 997 747181 
0,65 |0, 385320 | 0,85 | 1, 036433 978 | 2,014091 998 818162 
66 412463 86 080319 979 033520 999 | 3,090232 
67 439913 87 126391 |0,980 | 2,053749 
68 467699 88 174987 981 074855 
69 495850 89 226528 982 096927 


п ример. Найти 0,9-квантиль Ноэ. Величину цо,э находим из 
таблицы в графе, расположенной справа от соответствующего значения 
4 = 0,9, т. е. иоз = 1,28155 

Замечание!. Если заданная величина 4 попадает между дву- 
мя соседними табличными значениями 4) и 42 (41 < 42; это может слу- 
читься при графической проверке нормальности распределения), то 
следует воспользоваться линейной интерполяцией, а именно формулой 


9 — 91 


] =— — 
а, То (4. 4,). 
92 
Замечание 2. При нахождении 4д-квантилей для значений 
4 < 0,5 следует воспользоваться соотношением ид = —и;-а. Напри- 
мер, #0 ‚4 — —ИН1— 0 ‚4 — —\ ‚6 — —0, 25335. 


амечание 3. При отыскании 1000%-ных точек шо следует 
воспользоваться соотношением = и; _о. Например, ш0,05 = Ш0,э5 = 
= 1,64485, 
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Таблица Пб 


Значения 1000°/-ных точек 2о(у) распределения 
Стьюдента (1!-распределения) с у степенями свободы 


г [0 325|1,000|3,078 | 6,314 | 12.706 | 31,821 | 63,657 | 127.32 
2| '289|0 816| 1.886 |2,920| 4.303 | 6,965 | 9,925 14, 089 
3| 277| 765|1.638|2,353| 3,182 | 4.541 5,84! 7 453 
Ё4| 27| 741|1.533|2,132| 2.776 | 3.747 | 4,604 5.598 
5 |0 267 | 0,727 |1,476| 2.015] 2,571 3,365 | 4,032 4.773 
6 | °265| 7181|1,440|1.943| 2,447 | 3,143 | 3,707 4,317 
7| 0263| 711|1,415|1,895| 2,365 | 2,998 | 3,499 4.029 
8| 262| 7061|1,397|1.860| 2.306 | 2,896 | 3,355 3.833 
9| 261| 7031|1,383|1,833| 2,262 | 2,821 3,250 3,690 
10 [0.2601 0,700|1,372]1.812| 2,228 | 2,764 | 3,169 3,581 
11| '260| 69711 363 | 1.796! 2,201 2718 | 3,106 3,497 
12| 0259| 695|1,356 |1,782| 2,179 | 2.681 3,055 3 428 
13| 259| 694|1.350|1.771| 2.160 | 2650 | 3,012 3.372 
14| 258| 692|1,345|1,761| 2,145 | 2624 | 2,977 3,326 
15 |0,258 | 0,691 [1,341 |1,753| 2,131 2.602 | 2,947 3.286 
16 | 258| 690|1,337|1.746|] 2,120 | 2,583 | 2,921 3,252 
17| 257| 68911 333 | 1,740| 2,110 | 2,567 | 2,898 3,222 
18 | 257| 688|1.33011,734| 2,101 | 2,552 | 2,878 3,197 
19| 257| 688|1.328|1 729| 2,093 | 2,539 | 2,861 3, 174 
20 |0.257|0,687 |1,32511,725| 2,086 | 2,528 | 2,845 3, 153 
21 | 9257| 686|1.323|1,721| 2,080 | 2,518 | 2,831 3, 135 
22 | 956| 686|1391|1,717 | 2,074 | 2,508 | 2,819 3, 119 
23 | 256| 68511 319|1,714| 2.069 | 2.500 | 2,807 3.104 
24 | 5256| 685|1318|17И| 2.064 | 2,492 | 2,797 3,091 
25 |0 256 |0.684|1,316|1,708| 2,060 | 2,485 | 2,787 3,078 
26 | `256| '684|1,315|1,706| 2,056 | 2,479 | 2,779 3,067 
27| 256| 684|1314|1,703|! 2,052 | 2,473 | 2,771 3, 057 
28 | 256| 683|1313|1,701| 2,048 | 2,467 | 2,763 3,047 
29 | 256| 683|1.311|1,699| 2,045 | 2,462 | 2,756 3,038 
30 | 0,256 10.683 |1,310|1,697| 2,042 | 2,457 | 2,750 3.030 
40 | 255| 681|1,303|1.684| 2,021 2,493 | 2,704 2.971 
60 | 954| 679|1.296|1,671| 2,000 | 2,390 | 2,660 2,915 
120 | 0254| 677|1,289|1,658| 1,980 | 2,358 | 2,617 2,860 
оо 253| 674|1,282|1.645| 1,960 | 2,326 | 2,576 2,807 
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Таблица П.7 
Преобразование Фишера (г-преобразование) 


выборочного коэффициента корреляции г 
(= 2, 2=агс 8х) 


т |000 |. 002 ‚ 006 ‚ 008 


0,00 | 0000 | 0020 | 0040 | 0060 | 008010,50] 5493] 5520] 55471 5573 | 5600 
1 | 0100 | 0120 | 0140 | 0160 | 0180 1| 5627| 5654| 5682 | 5709] 5736 
2| 0200 | 0220 | 0240 | 0260 | 0280 2| 5763 | 5791| 5818] 5846] 5874 
3| 0300 | 0320 | 0340 | 0360 | 0380 3| 5901 | 5929] 5957] 5985] 6013 
41 0400 | 0420 | 0440 | 0460 | 0480 4| 6042| 60701 6098] 6127] 6155 


0, 05 | 0500 | 0520 | 0541 | 0561 | 0581 10,55] 61841 6213] 6241] 6270| 6299 
6 | 0601 | 0621 | 0641 | 0661 | 0681 6| 6328| 6358| 6387 | 6416 | 6446 
71| 0701 10721 | 0741 | 0761 | 0782 7| 6475| 6505| 6535 | 6565 | 6595 
8 | 0802 | 0822 | 0842 | 0862 | 0882 8| 6625] 66551 6685 | 6716| 6746 
910902 | 0923 | 0943 | 0963 | 0983 9] 67771 68071 6838] 6869| 6900 


0,101 1003 | 1024 | 1044 | 1064 | 1084 10,60] 6931| 6963 | 6994 | 7026| 7057 
111104 | 1125 | 1145 | 1165 | [186 1| 7089| 7121| 7153| 71851 7218 
2| 1206 | 1226 | 1246 | 1267 | 1287 2] 7250| 7283| 7315| 7348 | 7381 
3 | 1307 | 1328 | 1348 | 1368 | 1389 3| 7414] 7447| 74811 7514| 7548 
4 | 140911430 | 1450 | 1471 | 1491 4] 7582| 7616| 7650| 7684 | 7718 


0,15 | 151111532 | 1552 | 1573 | 159310,65| 7753] 7788] 7823] 7858] 7893 
6 | 1614 | 1634 | 1655 | 1676 | 1696 6] 7928| 7964) 7999] 8035] 8071 
7| 1717 | 1737 | 1758 | 1779 | 1799 7| 8107] 8144| 8180| 8217| 8254 
8 | 1320 | 1841 11861 | 1882 | 1903 8| 8291| 8328] 8366 | 8404 | 8441 
91 1923 | 1944 | 1965 | 1986 | 2007 9| 84801 8518| 8556 | 8595 | 8634 


0,20 | 2027 | 2048 | 2069 | 2090 | 211110,70] 8673] 8712| 8752 | 8792 | 8832 


| | 2132 | 2153 | 21741 2195 | 2216] —1| 8872] 8912] 8953| 8994 | 9035 
2| 2937 | 2258 | 2979 | 2300 | 2321| 2| 9076| 9118| 9160| 9202| 9245 
3 | 2342 | 2363 | 2384 | 2405 | 2427| 3| 9287| 9330| 9373| 9417| 9461 
4| 2448 | 2469 | 2490 | 2512| 2533| 4| 9505] 9549| 9594| 9639 | 9684 
0,25 | 2554 | 2575 | 2597 | 2618 | 2640 | 0,75 | 0,973 | 0,978 | 0,982 | 0,987 |0, 991 
6 | 2661 | 2683 | 2704 | 2796 |2747| °61|0,996 | 1,001 | 1,006 [1.011 ‚015 
7| 2769 | 2790 | 2819 | 2833 | 2855| 71|1,020|1,025 [1.030 [1’035 1,040 
8 | 2877 | 2899 | 2920 | 2942 | 2964| 8|1,045|1,050|1,056 |1 ’061 |1, 066 
9| 2986 | 3008 | 3029 | 3051 | 30731 911,071 | 1,077 | 1,088 [1,088 |1 093 
0,30 | 3095 | 3117 | 3139 | 3161 | 31830,80 | 1,099 | 1,104 |1,110|1,116 1,121 
| | 3205 | 3228 | 3250 | 3279 | 3294 | °11|1,12711.133|1,139 1145 |1 ‚151 
2 | 3316 | 3339 | 3361 | 3383 | 3406 | 2|1,15711 163 11,169] 1,175 И ‚182 
3 | 3498 | 3451 | 3473 | 3496 | 3518 | 311,188 | 1,195 | 1,201 [1,208 |1 ‚214 
4 | 3541 | 3564 | 3586 | 3609 | 3632 | 411,291 |1,228|1,235|1,242 |1 ‚249 
0,35 | 3654 | 3677 | 3700 | 3723 | 3746 |085 |1,256 | 1,263 | 1,271 [1,278 [1,286 
6 | 3769 | 3792 | 3815 | 3838 | 3861 | °6|1,293 | 1.301 [1,309 |1’317 1,325 
7| 3884 | 3907 | 3931 | 3954 | 3977 | 711,333|1,341 | 1,350 | 1.358 1,367 
8 | 4001 | 4024 | 4047 | 4071 |4094 | 811,376 | 1,385 | 1,394 [1,403 1,412 
9| 4118 | 4142 | 4165 | 4189 | 4213| 9|1,422|1.439 | 1,442 [1.452 |1 ,462 
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Продолжение табл. П.Г 


‚000 |,002 


“> 


т ‚ 0001. 002 |. 004 1,006 |, 008 ‚ 004 ‚ 008 


0,40 | 4236 | 4260 | 4284 | 4308 | 4332 10,90] 1,472 ]1,483 | 1,494 | 1,505 [1,516 
1 | 4356 | 4380 | 4404 | 4428 | 4453 111,528 | 1,539 [1,551 11,564 |1 ,576 
214477 | 4501 | 4526 | 4550 | 4574 2|1,58911,602 11,616 | 1,630 |1, 644 
3 | 4599 | 4624 | 4648 | 4673 | 4698 311,658 | 1,673 11,689 | 1,705 |1 ‚721 
4 | 4722 | 4747 | 4772 | 4797 | 4822 411,738 | 1,75611,77411,792 11,812 


0,45 | 4847 | 4872 | 4897 | 4922 | 4948 |0, 95| 1,832 | 1,853|1,874 | 1,897 |1 ‚921 
6 | 4973 | 4999 | 5024 | 5049 | 5075| 61|1,946|1,97212,000| 2,029 2,060 
7| 5101 | 5196 | 5152 | 5178 | 5204 | 712,092 |2,127 | 2,165 |2,205 [2,249 
8 | 5230 | 5956 | 5282 | 5308 | 5334| 812,298 | 2,351 |2,410| 2,477 |2 555 
9| 5361 | 5387 | 5413 | 5440 | 5466 | 91|2,647|2.759|2,903|3 106 |3, 453 


т |,000 |,002 1,004 1,006 |,008 | т |,000 |002 |004 |,006 1,008 


Примеры. 


1. Дано = 0,206. Определить 2 = агс 11 0,206. 

Находим (в левом столбце таблицы) строку, соответствующую = 
— 0,20. Чтобы получить заданное значение 7. к 0,20 надо прибавить 
0,006, а потому искомое число находится (в этой строке) в столбце, рас- 
положенном под 0,006. Итак, 2 = агс 11 0,206 = 0,2090. 


2. Дано т = —9,515. Определить 2 == агс4В (—0,515). 
Находим (в левом столбце таблицы) строку, соответствующую 


м —^— 
г = 0,51. Чтобы получить значение г = 0,515, к 0,51 надо прибавить 
0,005, а потому агс {1 0,515 находится как среднее арифметическое двух 
чисел данной строки, расположенных в столбцах, соответствующих 
верхним индексам 0,006 и 0,004, т. е. 


0,5709 0,5682 

агс {В 0,515 = у 50,56%. 

Соответственно 2 == агс {В (—0,515) = — гс! 0,515 = —0, 56955. 

3. Дано 2 = 0,8752. Определить т = №2, 

Находим в таблице число, равное 0,8752, и определяем, какому 
значению г оно соответствует. В нашем случае г — 0,704. 

Примечание. В тех случаях, когда в таблице не найдется 
в точности заданного числа, берут два приближенных (ближайших к не- 
му) значения — с недостатком и с избытком. Искомое значение т бу- 


дет лежать между двумя значениями г; и Г», соотвегствующими этим 
приближенным величинам 2. 
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Таблица П.8 
Верхняя (положительная) граница доверительного интервала 
для истинного значения коэффициента корреляции 
в случае отсутствия корреляционной связи 
(при доверительной вероятности Р=1—20) 


о 
п —2 
0,05 0, 025 0,01 0,005 0,0025 0,0005 
| 0,9877 | 0,9692 | 0,9507 0,93877 | 0,9692 0,95877 
2 9000 9500 9800 | 92000 92500 93000 
3 805 878 9343 9587 9740 92114 
4 729 811 880 9172 9417 9741 
5 669 754 833 875 9056 9509 
6 | 0621 | 0707 | 0,789 | 0,834 0,870 0.9249 
7 582 666 750 798 836 898 
8 549 632 715 765 805 870 
9 521 602 685 735 776 847 
10 497 576 658 708 750 823 
1 | 0476 | 0553 | 0.634 | 0.684 О, 726 0, 801 
12 457 530 612 661 703 780 
13 441 514 592 641 683 760 
14 496 497 574 623 664 742 
15 412 | 482 558 606 647 795 
16 | 0400 | 0,468 | 0543 | 0,590 0,631 0,708 
17 389 456 529 575 616 693 
18 378 444 516 561 602 679 
19 369 433 503 549 589 665 
20 360 423 499 537 576 652 
25 | 0323 | 0381 | 0445 | 0.487 0,524 0,597 
30 296 349 409 449 484 554 
35 275 325 381 418 452 519 
40 257 304 358 393 495 490 
45 243 288 338 372 403 465 
50 | 0231 | 0273 | 0,322 | 0354 0,384 0,443 
60 211 250 295 325 352 408 
70 195 232 274 302 397 380 
80 183 217 257 283 307 357 
90 173 205 240 267 290 338 
100 164 195 230 254 276 321 


Примечание. Верхний индекс (2,3 и т. д.) над цифрой 9 оз” 
начает, что эта цифра занимает первые 2,3 и т. д. разряда десятичной 
дроби. Например, 0,9692 = 0,9999692. 

Пример. Если мы оцениваем корреляционную связь по п = 20 
наблюдениям, то при доверительной вероятности Р = 0,95 (т. е. при 
20 = 0,05) значение коэффициента корреляции, не превосходящее по 
абсолютной величине 0,444, еще не говорит о статистической значимости 
этой корреляционной связи (т. е. о том, что истинное значение 
коэффициента корреляции г отлично от нуля). 
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Таблица П.9 


Проверка статистической значимости корреляционной связи 
с помощью рангового коэффициента корреляции Спирмэна т(5) 


п—=4 п=5 п=б6 п=7 п =8 п=9 п-—=10 


зииииииььиььинньь | сопопииииииииииииииияьяиннынаеньнычнь — || соиииииниыматиьнининисчоониииятииниииинииарьячнию чит приятный | пририолорииипиииичиитимоиииичнь [отит читиииинниьольнивниь- 


| 
12 10,4581 22 0,475! 5010,210| 7410, 249 1108] 0, 250 |156] 0,218 | 2081 0,235 


14 | 37524| 392|52 178 | 78| 1981114] 1951164] 168] 218 184 
16 | 208126 | 342154 149 | 821 1511120} 1501172] 125] 228 139 
18 167| 28| 258! 56 121| 86| 1181126! 1081180] 089 | 238 102 
20 | 04230] 225158] 088| 90] 0831132] 076 |188] 0601248 072 


32 |0, 175| 60 | 0,068 | 941 0.055 1381 0, 048 |196! 0,038 | 258 | 0,048 
34| 117162| 051| 98| 033 1144| `0291204| `022|268| 030 
36| 067|64| 0291102] 01711501 014121? ой] 278| 017 
38| 042166| 0171106] 0062 |156] 0054 |220] 0041|288| 0087 
40| 00831 68| 0083 |110| 0014 |162! 0011|228| 0010|298| 0036 


70 |0 ,0014 308 | 0.001 
20 | 40 | 70 | 112 | 168 | 240 | 330 


Таблица П.10 


Проверка статистической значимости корреляционной связи 
с помощью рангового коэффициента корреляции Кендалла т(К) 


п п 
4 5 8 9 6 7 10 
о |0 625 10,592 | 0,548 | 0,540 1 |0500| 0.500 | 0,500 
2 375| 408 452 460 3 360| 386 431 
4 167 | 242 360 381 5 235| 281 364 
6 042 | 117 274 306 7 136 191 300 
8 042 199 238 9 068| 119 242 
10 0.0083| 0.138 | 0,179 |1 |0,028! 0,068 | 0.190 
12 089 130 13 | 0083] 035 146 
14 054 090 15 | 0014| 015 108 
16 031 060 17 0054 078 
18 016 038 19 0014 054 
20 0,0071 | 0, 022 2 0,0002 | 0,036 
20 0028 012 23 023 
24 0009 | 0063 25 014 
96 0002 | 0029 27 0083 
28 0012 29 0046 
30 0,0004 | 31 0,0023 
33 0011 
35 0005 
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коэффициента конкордации и (т) 


Таблица П.11& 
Проверка статистической значимости выборочного значения 


Вероятность того, что данное значение $ будет достигнуто 
или превзойдено, для п=Зи т от 2 до 10 


1,000 [1,000 
0,944 [0.931 
0,528 |0, 653 
0,361 |0’431 
0,194 10,273 
0,028 |0’ 125 


0,069 
0, 042 


1,000 
0, 954 
0,691 
0,522 
0,367 
0, 182 


О, 124 
0,093 


0, 004610, 039 


0,024 


1,000 
0,956 
0,740 
0,570 
0,430 
0,252 


0,184 
0,142 
0, 072 
0,052 


0, 008510, 029 
0, 0377 0,012 


0,0081 
0, 0055 
0,0017 
0, 0313 
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Продолжение 


Вероятность того, что данное значение 5 будет достигнуто 
или превзойдено, для п=4, т=3 и т=5 


т =3 | т=5 | $ | т=5 


$ 

1 1,000 1,000 61 0,055 

3 0,958 0,975 65 0,044 

5 0,910 0,944 67 0,034 

9 0,727 0,857 69 0,031 
11 0,608 0,771 73 0,023 
13 0,524 0,709 75 0,020 
17 0,446 0,652 77 0,017 
19 0,342 0,561 81 0,012 
21 0,300 0,521 83 0,0087 
25 0,207 0,445 85 0,0067 
27 0,175 0,408 89 0,0055 
29 0,148 0,372 91 0,0031 
33 0,075 0,298 93 0,0023 
35 0,054 0,260 97 0,0018 
37 0,033 0,226 99 0,0016 
4] 0,017 0,210 101 0,0014 
43 0,0017 0,162 105 0,0°64 
45 0,0017 0,141 107 0,0833 
49 0,123 109 0,0321 
51 0,107 113 0,0314 
53 0,093 117 0,0148 
57 0,075 125 0,0530 
59 0,067 

Продолжение 


Вероятность того, что данное значение $ будет достигнуто 
или превзойдено, для п=4 и т=2, т=4и т=6 


т=2 | т=4 т=6 | $ т=6 


$ 
0 1,000 1,000 1,000 82 0,035 
2 0,958 0,992 0,996 84 0,032 
4 0,833 0,928 0,957 86 0,029 
6 0,792 0,900 0,940 88 0,023 
8 0,625 0,800 0,874 90 0,022 
10 0,542 0,754 0,844 94 0,017 
12 0,458 0,677 0,789 96 0,014 
14 0,375 0,649 0,772 _98 0,013 
16 0,208 0,524 0,679 100 0,010 
18 0,167 0,508 0,668 102 0,0096 
20 0,042 0,432 0,609 104 0,0085 
22 0,389 0,574 106 0,0073 
24 0,355 0,541 108 0,0061 
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Продолжение 


26 0,324 0,512 
30 0,242 0,431 
32 0,200 0,386 
34 0,190 0,375 
36 0,158 0,338 
38 0,141 0,317 
40 0,105 0,270 
42 0,094 0,256 
44 0,077 0,230 
46 0,068 0,218 
48 0,054 0,197 
50 0,052 0,194 
52 0,036 0,163 
54 0,033 0,155 
56 0,019 0,127 
58 0,014 0,114 
62 0,012 0,108 
64 0,0069 0,089 
66 0,0062 0,088 
68 0,0027 0,073 
70 0,0027 0,066 
72 0,0016 0,060 
74 0,0394 0,056 
76 0,0394 0,043 
78 0,0394 0,041 
80 0,0472 0,037 


1 80 


Продолжение 


Вероятность того, что данное значение 5 будет достигнуто 
или превзойдено, для п=5 и т=3 


Таблица П.118 
Проверка статистической значимости выборочного значения 
коэффициента конкордации (т) 


Критические значения 5 при уровне значимости и - 0,05 


ополнительные 


На значения для 
т п=3 
3 | | 5 6 | т т | 5 
3 64,4 103,9 157,3 9 54.0 
4 49,5 88,4 143.3 | 217.0 |2 71,9 
5 2.6 112,3 182,4 276,2 14 83,8 
6 15,7 136.1 221,4 335.2 16 95,8 
8 48.1 101,7 183,7 299,0 453,1 18 107.7 


10 60,0 127,8 231,2 376,7 571,0 
15 89,8 192,9 349,8 570,5 864,9 
20 119,7 258,0 468.5 764,4 1158, 7 


ИСПОЛЬЗУЕМЫЕ В КНИГЕ ОБОЗНАЧЕНИЯ 


Исходные наблюдения 


п — число статистически обследованных объектов, объем выборки из 
многомерной генеральной совокупности; 

р — число объясняющих (предикторных} переменных, регистрируе- 
мых на каждом из объектов; 


р ., . . . 
х } — обозначение #-й объясняющей переменной на 2-м обследуемом 


объекте; 
у; — значение исследуемого результирующего показателя («отклика») 
на {1-м обследованном объекте; 

(Е) 

Г 

Х; 


ХА; — вектор-столбец значений р объясняющих переменных. 
х(Р) 
зарегистрированных на 1-м обследованном объекте; 
(1 2 (1 2 (0 . 
(х; й х! ..., х(Р); у; ) у ..., у; ) — значения входных («объясняю- 


щих») (х(“)) и выходных («результирующих») (/(0) переменных, заре- 
гистрированные в {-м наблюдении (или на [-м обследованном объекте); 


в У, 


стические данные; 
В — система подвыборок выборки Ви: 


—— выборка объема л, исходные стати- 
‚п 


Ут. 

у. : | — вектор-столбец наблюденных значений результирующей 
би. 

переменной («отклика»); 
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° Фе (Х,) 1 (Х1)... фт (Х\) 
фь (Х,) ф, (Х,)... фт (Х,) 


ро (Х„) тр, (Х»). -. Фт (Хи) 


—=^ 


матрица (размера п Хх (т - 1)) исходных данных по объясняющим 
{предикторным) переменным, матрица плана (здесь фо(Х), {1 (Х), ..., 
фт (Х) — известные базисные функции, по которым разложена функ- 
ция регрессии /(Х; 9)); в частном случае линейной (по объясняющим 
переменным) модели регрессии матрица плана имеет вид: 


1х) хр) 
1 у 1 


| х()... х(р) 


] ) 
| ] х( ).. х(Р) 
В гл. 3 Х используется для обозначения матрицы исходных данных 
таблицы сопряженности (т. е. ее элемент х;; — это число объектов в 
двумерной выборке объема п, отнесенных по первой случайной компо- 
ненте к градации Г, а по второй случайной компоненте — к градации |), 
а в гл. 6 — для обозначения некоторого подмножества области опреде- 
ления исследуемой функции регрессии /(Х; @®@). 


Законы распределения вероятностей и их числовые характеристики 
№к (М. Х) — ^-мерный нормальный закон распределения вероятностей 
с вектором (столбцом} средних значений М и ковариационной матрицей 
Х (если контекст не требует уточнения размерности закона, нижний 
индекс может быть опущен); 

Е(\г, У; а) — нецентральное Е-распределение с числами степеней сво- 
боды числителя и знаменателя соответственно у, и \, и с параметром не- 
центральности а; 

ЕЁ. ММ, У) — обозначение факта: «случайная величина & имеет рас- 
пределение ^(М, Х)»; 

ид — квантиль уровня 9(9-квантиль) стандартного нормального рас- 
пределения; 


Х2(%) — 100%°%-ная точка у*-распределения с \ степенями свободы; 
1.(У) — 100&%-ная точка распределения Стьюдента с \ степенями сво- 
боды; 

02 (у, \.} — 100а%-ная точка центрального Е-распределения с числами 
1 2 


степеней свободы числителя и знаменателя соответственно у, и №5; 

р;; — элемент последовательности чисел, задающей двумерный (дис- 
кретный) закон распределения вероятностей: вероятность, что случайно 
извлеченный объект будет отнесен по первой компоненте к :-й градации, 


а по второй — к |[-Й; 
рр. Урир,; Ур: 
1 : 


(Хх) - (| Е Х)—случайная величина \, анализируемая при усло- 
вии, что значение другой случайной величины (&) зафиксировано и рав- 
но Х; 

ЕЕ — теоретическое среднее (математическое ожидание) случайной вели: 
ЧИНЫ 5; 
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РЕ — дисперсия случайной величины &; 

Е(м |& = Х) — условное среднее значение случайной величины 1, вы- 
численное при условии, что значение другой случайной величины 
& зафиксировано на уровне Х; 

О(\ |5 = Х) — условная дисперсия случайной величины 1, вычисленная 
при условии, что значение другой случайной величины & зафиксировано 
на уровне Х; 

соу(&, 1) = Е[(& — ЕЁ) (1 — Е\)] — ковариация случайных величин & 


и 1; 


` 


(1) (0 


Если & = и \_= ‚ то 


| Е (р) 1 (70) 


соу(Е, 1) = Х — ковариационная матрица (размера (р -- т) Х (р +: т)) 
вектора (&’, \’)’, причем она в ряде мест книги разбита на подматрицы 
по следующей схеме: 


(и Ут 

= 

ХтЕ т 

где подматрицы ХЕ, т, ХЕ и Хи имеют соответственно размеры рх 
х р, рхт, тхр тхт. 


` 


Корреляционный анализ 
Е [(& — Е) (1 — Е1)] 


[Е (& — Е&)*. Е (м — Е\)?] 
ду случайными величинами & и\; 


У (х; —^) (и; —у) 


—^ [=] 
г 


— коэффициент коорреляции меж- 


>| - 


о 


— 


= | 


РИ 
1—1 


выборочный коэффициент корреляции между Е и \ (здесь х; и 
у; —1-е наблюденные значения случайных величин соответственно & 


ит, а =(; "|" ии-=- У, ии}. 


=] ==] 


"7 И | — —_,  — индекс корреляции, характеризующий 
[8] 
п 


тесноту статистической связи между 1 и 5 вобщем случае (здесь оу = 


—=О\— безусловная дисперсия случайной величины \, а 02) — усред- 


ненная по различным значениям Х случайной величины & величина 
условной дисперсии О(щ |Ё == Х)); 
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Е 
У п (у:—и)% 
2 И=1| 


От. Е —= 


т — ^орреляционное отношение, характе- 
: 


У, У (уу— 9)" 
= 1=1 


ризующее тесноту статистической связи между 1 и Ё при разбиении диа- 
пазона изменения объясняющей (предикторной) переменной на Ё ин- 
тервалов группирования (здесь у;; — {-е наблюденное значение ре- 


зультирующей переменной 1 в Г-м интервале группирования, и; = 


т; 
— У У: т; — средняя величина всех т; наблюденных значе- 
1=1 


ний 1, оказавшихся в 1-м интервале группирования а у = 


‚ Е 
= | У, тв | — общее среднее значение всех п наблюденных значе- 
1—1 ' 


ний случайной величины 1); 


ЦЕ, п) = Н(&) - На) — Н(Е, 1) — информационная мера статистичес- 

кой связи между дискретными случайными величинами Ё ит, где Н(б) = 

—= — рег) тре (2) =—Е (п ре(0)) — энтропия случайной величины С 
774 


(здесь ре (г) = Р {С = 2}, а суммирование производится по всем воз- 
можным значениям случайной величины 6); 

7 ха, р — частный (очищенный) коэффициент корреляции между 
компонентами х() и х(1) вектора Х = (х@®), х@), ..., х(Р))’ (вычислен 


при условии, что все остальные компоненты Х“Л вектора Х зафикси- 
рованы на некотором постоянном уровне); 


к 2 [ ; 
Те ь,... в) — частный коэффициент корреляции между хи х(Р 


при условии фиксации на постоянных уровнях компонент х(#з), хз) ..., 


х 9; 
д 
Вт. = Ат... = (И 1—1) (= 0 }х 
— 
х (1 —703з (12)). (1—7 бр (12..р—1)) — множественный коэффициент 


корреляции между результирующей переменной 1 = &®) и объяс- 
няющими переменными &(1), 
К1т.: — коэффициент детерминации между т и 5; 


25) — ранговый коэффициент корреляции Спирмэна; 
2 — ранговый коэффициент корреляции Кендалла; 
(т) — коэффициент конкордации (согласованности), измеряющий 


степень согласованности т различных ранжировок одних и тех же объек- 
ТОВ. 


Регрессионный, дисперсионный и ковариационный анализ 


Ё(Х; 9)=Е (м | Е=Х) — функция регрессии результирующей переменной 
по объясняющим переменным & (параметрическая запись): 

(и) — функция потерь, измеряющая убытки от неточности восстанов- 
ления значения 1(Х) = {1|& = Х} с помощью функции р (Х), где 
и = и(Х; р) = 1(Х) — К(Х), а Б(Х) — некоторая аппроксимация 
неизвестной функции регрессии /[(Х); 
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А([а) = Ер (и(Х; р)) — теоретический критерий адекватности модели 


а ); и 


— | 
Ап (4) = — > р (и (Х;; |)) — выборочный критерий адекватности 
п 
#=1 
модели /а(Х); 
Е — класс допустимых решений (класс функций, в рамках которого 
подыскивается наилучшая аппроксимация для К(Х) = Е(м | & = Х); 


А(Х) = агв пт А (а) — функция А-регрессии; 
[ЕВ 


9 = (6, 0,, ..., 0)’ — вектор-столбец неизвестных параметров, от 
которых зависит уравнение искомой функции регрессии [{(Х; 9); 

9 — статистическая оценка векторного параметра ©; 

\р(Х) = ($о(Х), ф.(Х), ..., фт (Х)’— вектор-столбец базисных функций 
4ро(Х), ..., фт (Х), по которым разложена функция регрессии /(Х; 9); 
КХ; 9) =ф'(Х) . 9 = вфе(Х) -- Вир(Х) - ... - 9 - фт(Х) — функ- 
ция регрессии, разложенная в системе базисных функций ф(Х), линей- 
ная по параметрам; 


—^ 


6 — Ковариационная матрица оценок 6; 


М(\, Х; 9) = 0 —общая (неявная) запись модели регрессии \ по Х; 
Хд = («0 ..., х(®)) — индикаторные переменные в схеме ковариацион- 


ного анализа, соответствующие А возможным типам условий эксперимен- 
та (нижний индекс д показывает, что эти переменные относятся к «дис- 
персионной части» модели ковариационного анализа); 

Эх = (91, ..., 9дк)’ — параметры (неизвестные) модели ковариаци- 
онного анализа, определяющие сравнительный эффект влияния каждого 
из А типов условий эксперимента на исследуемый результирующий по- 
казатель. 
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